У меня есть фрейм данных с одним столбцом, как показано ниже. Я использую pyspark версии 2.3 для записи в csv. 18391860-bb33-11e6-a12d-0050569d8a5c, 48,24,44,31,47,162,227,0,37,30,28 18391310-bc74-11e5-9049 -.......
Исходные данные находятся в наборе данных , и я пытаюсь записать в файл с разделителем каналов и хочу, чтобы каждая непустая ячейка и ненулевые значения были помещены в кавычки. Пустые или нулевые значения не должны содержать кавычек result.coalesce(1).write() .option("delimiter", "|") ....
26 Фев 2020 в 19:36
Исходные данные находятся в наборе данных , и я пытаюсь записать в файл CSV значение каждой ячейки, которое будет помещено в кавычки. result.coalesce(1).write() .option("delimiter", "|") .option("header", "true") .option("nullValue", "") .option("quote....
4 Фев 2020 в 18:16
Я пытаюсь прочитать файл с определенным именем, которое существует в нескольких файлах .gz в папке. Например, < Код > D : / sample_datasets / gzfiles | -my_file_1.tar.gz | -my_file_1.tar | -file1.csv | -file2.csv | -file3.csv | -my_file_2.tar.gz | -my_file_2.tar | -file1.csv | -file2.csv | -File3.....
Я больше не могу сохранять таблицу в базу данных куста с помощью хранилища метаданных. Я вижу таблицы в искре с использованием spark.sql, но я не вижу тех же таблиц в базе данных улья. Я пробовал это, но он не сохраняет таблицу для улья. Как я могу настроить хранилище метаданных улья? Версия Spark -....