В моей программе mapreduce есть System.out.printlns; MR работал успешно, но я нигде не могу просмотреть журналы. Я пробовал использовать "yarn log -applicationId ...", но до сих пор не могу просмотреть журналы.

Требуются ли какие-либо специальные настройки для включения журналов? Если нет, то где находится файл журнала?

1
Manikandan Kannan 29 Дек 2015 в 00:36

3 ответа

Лучший ответ

Если вы настроили агрегирование журналов, вы найдете свои журналы в /tmp/logs на HDFS. Этот каталог hdfs устанавливается с помощью свойства yarn.nodemanager.remote-app-log-dir (по умолчанию / tmp / logs).

Следовательно, вы должны иметь возможность видеть каталоги журналов приложений пользователей на namenode с помощью команды:

hdfs dfs -ls /tmp/logs
1
Clyde D'Cruz 30 Дек 2015 в 12:26

Когда вы запускаете задание в первых нескольких строках, вам будет предоставлена ссылка для отслеживания задания. Вы можете вставить эту ссылку в браузер и просматривать журналы уровня задач, чтобы увидеть подробности.

Использование System.out.println в сокращении карты - не лучшая практика.

0
Durga Viswanath Gadiraju 28 Дек 2015 в 22:11

Порт 8088 показывает все задания MR в кластере. Щелкните задание MR и щелкните историю отслеживания.

3
S.K.Mathew 12 Апр 2016 в 16:13