Я установил Hive, и он выполняет основные запросы правильно, но застревает для запросов, как отдельные. При переходе по ссылке для проверки отображаемой проблемы

ПРИНЯТО: ожидание размещения, запуска AM-контейнера и его регистрации в RM.

Как YarnApplicationStage.

Я попытался внести изменения в yarn-site.xml, увеличив процент мощности планировщика YARN. Но ничего не работает. Кажется, он застрял на одном шаге. Я приложил код yarn-site.xml, скриншот приложения, а также скриншот куста. Также нет нездоровых узлов и скриншот того же прикреплен.

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>mapreduce.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>1.0</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
<description>Physical memory, in MB, to be made available to running containers</description>
</property>   
</configuration>

Изображение ошибки в следующем порядке,

Ошибка зависания улья

Диспетчер приложений

Детали узлов

Журнал менеджера узлов пряжи ошибка зависания улья

Application manager

Nodes details

[Журнал узла управления пряжей 4 [Журнал диспетчера пряжи 5

0
nikita parab 12 Апр 2019 в 13:32

2 ответа

Лучший ответ

Метрики вашего кластера показывают, что у вас нет vcores, памяти и активных узлов, так что вы не можете выполнять какую-либо обработку, пока не добавите Node Manager в ваш кластер.

Диспетчер ресурсов является планировщиком, но диспетчеры узлов предоставляют вычислительные ресурсы.

Причина, по которой вы видите это при выполнении DISTINCT, заключается в том, что Hive может обрабатывать некоторые запросы без запуска задания MapReduce.

Ссылки

0
tk421 12 Апр 2019 в 16:07

Я решил эту ошибку. Проблема была с файлом etc / hosts. IP моей системы изменился из-за того, что куст не работал должным образом.

0
nikita parab 18 Апр 2019 в 12:06