Я пытаюсь прочитать несколько текстовых файлов в одном DataFrame в Pyspark, а затем применить show (), но получаю ошибку во втором пути к файлу.

BUYERS10_m1 = spark.read.text(Buyers_F1_path,Buyers_F2_path)

BUYERS10_m1.show()

Py4JJavaError: An error occurred while calling o245.showString.
: java.lang.IllegalArgumentException: For input string: "s3a://testing/Buyers/File2.TXT"

Кто-нибудь знает, почему я получаю эту ошибку и как ее решить?

0
Vibha 14 Сен 2020 в 10:30

1 ответ

Лучший ответ

Следующее должно работать.

spark.read.text("s3a://testing/Buyers/File{1,2}.TXT")
0
Samir Vyas 14 Сен 2020 в 08:57