Когда я запустил искру-отправку, он выдает ошибку, указывающую на то, что в файловой системе нет файла, как показано ниже.

Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/user/sclee/clustering2/mapTemplate_micron

Я думаю, что мой файл находится на hdfs, а не в моей локальной системе. Я обнаружил, что мой файл конфигурации hadoop был правильно настроен, как показано ниже.

<property>
<name>fs.defaultFS</name>
<value>hdfs://spark.dso.hdm1:9000</value>
</property>
<property>

Как решить эту проблему?

Дополнение

Ниже мой запрос на отправку. На самом деле, я хорошо использовал искру, используя запрос ниже. Однако я по ошибке удалил искровые каталоги. Итак, я скопировал каталог Spark с рабочего узла. И тогда возникла моя проблема. Я надеюсь исправить свою проблему. Спасибо.

hadoop fs -rm -r /home/hawq2/*
spark-submit \
        --class com.bistel.spark.examples.yma.ClusterServiceBasedOnNewAlgo \
        --master spark://spark.dso.spkm1:7077 \
        --executor-memory 8g\
        --executor-cores 4\
        --jars /home/jumbo/user/sclee/clustering/guava-19.0.jar\
        --conf spark.eventLog.enabled=true\
        --conf spark.eventLog.dir=hdfs://spark.dso.hdm1:9000/user/jumbo/applicationHistory\
        --conf spark.memory.offHeap.enabled=true\
        --conf spark.memory.offHeap.size=268435456\
        ./new.jar\
        /user/sclee/clustering2/mapTemplate_micron      /user/sclee/clustering2/data/bin3       /user/sclee/clustering2/ret
3
sclee1 22 Ноя 2017 в 15:55

1 ответ

Лучший ответ

Похоже, ваш HADOOP_CONF_DIR не загружен или файлы в нем

Например, проверьте это в spark-env.sh, установив правильный каталог для вашей конфигурации

HADOOP_CONF_DIR=/etc/hadoop/

Затем убедитесь, что вы настроили hdfs-site.xml, core-site.xml и yarn-site.xml в этом каталоге. (Хотя похоже, что вы не используете YARN, поэтому, вероятно, только ядро ​​и hdfs)

2
OneCricketeer 22 Ноя 2017 в 13:42