def column_concat(a,b): return concat(a,b)
searches_df = searches_df.withColumn('unique_id',reduce(column_concat,(searches_df[col] for col in search_parameters)))

Это работает, за исключением случаев, когда столбец содержит нулевое значение, тогда вся объединенная строка является нулевой. Я бы хотел, чтобы вместо составной строки был заполнитель или какой-то символ.

6
Swetha Baskaran 8 Сен 2016 в 18:34

2 ответа

Сначала вам нужно импортировать функции pyspark sql, как показано ниже

from pyspark.sql import functions as sf
df = df.withColumn('joined_column', sf.concat(sf.col('colname1'),sf.lit('_'), sf.col('colname2')))
1
desertnaut 25 Май 2020 в 22:46
df = df.withColumn('joined_column', sf.concat(sf.col('colname1'),sf.lit('_'), sf.col('colname2')))
2
vikrant rana 1 Сен 2019 в 23:22