Я использую hadoop на машине с одним узлом. Когда я запускаю большой файл размером 1 ГБ, а размер разделения составляет 128 МБ. Таким образом, он запускает файл в 8 разделениях, но эти разделения выполняются последовательно, что означает, что одно разделение начинается после завершения другого разделения. Должны ли мы установить какое-либо значение свойства для параллельного запуска разбиений на машине с одним узлом.

0
Varinder Kumar 30 Окт 2019 в 19:42

1 ответ

Hadoop предоставляет структуру распределенной обработки (batch), то есть MapReduce, которая выполняет задачи параллельно. Но уровень параллелизма зависит от количества машин в вашем кластере. Параллелизм также можно контролировать с помощью input split size, но, поскольку у вас автономная установка, параллелизм не может быть достигнут.

0
Kumar Rohit 30 Окт 2019 в 19:57
Спасибо за ответ. Но я где-то читал, что если у нас есть машина с оптимальными ресурсами, такими как ядра, оперативная память, то мы можем добиться параллельной обработки разбиений, установив значение свойства конфигурации «mapreduce.job.maps», даже если у нас есть один узел, но я не могу настроить это свойство. Разве это не правильно?
 – 
Varinder Kumar
31 Окт 2019 в 07:05
Кто-нибудь может мне с этим помочь.
 – 
Varinder Kumar
3 Ноя 2019 в 07:15
1
Извините за задержку ответа. Честно говоря, я не особо увлекаюсь администрированием Hadoop. Но теоретически/логически я могу сделать следующий вывод: если мы можем создать несколько виртуальных машин из большой машины (путем разделения ЦП, ОЗУ, кэш-памяти и жесткого диска), то теоретически у нас может быть несколько доступных ресурсов. Затем эти виртуальные машины можно настроить для формирования мини-кластера Hadoop, который должен выполнять задачи параллельно. Точно так же мы создаем исполнителей, назначая ядра и память в среде Spark. Лично я раньше не видел такой настройки, по крайней мере, для Hadoop.
 – 
Kumar Rohit
5 Ноя 2019 в 12:03
Спасибо, Рохит... Но у меня это не сработало. Любой может предложить мне, какой подход я должен использовать
 – 
Varinder Kumar
23 Ноя 2019 в 19:18
1
Добавьте комментарий к вопросу, это снова сделает вопрос активным, тем самым привлечет больше участников.
 – 
Kumar Rohit
29 Ноя 2019 в 08:08