Я столкнулся с этой ошибкой при выполнении запроса Presto на Alluxio. Что означает этот тайм-аут и как его исправить?

com.facebook.presto.spi.PrestoException: ошибка при открытии Hive split alluxio: // xxxxx: 19998 / s3 / data / m-00020 (offset = 134217728, length = 67108864) с использованием org.apache.hadoop.mapred.TextInputFormat: Timeout для чтения 39963328512 из [id: 0x23615709, L: / xxxxx: 34740 - R: xxxxx / xxxxx: 29999]

1
AAudibert 12 Ноя 2018 в 23:59

1 ответ

Лучший ответ

Вы получите эту ошибку, если рабочий процесс Alluxio займет слишком много времени (настраивается с помощью alluxio.user.network.netty.timeout), чтобы предоставить данные клиенту.

Один простой обходной путь - увеличить время ожидания.

Однако обычно это признак того, что рабочий каким-то образом перегружен. Общие вещи, которые нужно проверить в вашей настройке:

  1. Рабочая нагрузка Alluxio, возможно, проблема, если ваш компьютер находится в одном месте и нет управления ресурсами
  2. Работник Alluxio из-за недостаточной нагрузки / пропускной способности файловой системы, это часто является узким местом для удаленных хранилищ, таких как хранилища объектов.

Если это узкие места, вы можете попробовать уменьшить параллелизм или увеличить количество узлов в кластере.

2
Calvin Jia 14 Ноя 2018 в 22:58