У меня есть фрейм данных pyspark:

number  |  matricule      
--------------------------------------------
1       |  ["AZ 1234", "1234", "00100"]                   
--------------------------------------------
23      |  ["1010", "12987"]                   
--------------------------------------------
56      |  ["AZ 98989", "22222", "98989"]                   
--------------------------------------------

В массиве matricule у меня есть дубликаты значений, если я удалю AZ строку. Я хотел бы удалить строку "AZ", а затем удалить дублирующиеся значения в массиве matricule. Зная, что иногда у меня есть пробел сразу после AZ, я тоже должен его удалить.

Я сделал udf:

def remove_AZ(A)
    for item in A:
        if item.startswith('AZ'):
            item.replace('AZ','')
udf_remove_AZ = F.udf(remove_AZ)
df = df.withColumn("AZ_2", udf_remove_AZ(df.matricule))

Я получил значение NULL во всех AZ_2 столбцах.

Как я могу удалить AZ из каждого значения в массиве matricule, а затем удалить дубликаты внутри? Спасибо

1
verojoucla 26 Фев 2020 в 14:43

2 ответа

Лучший ответ

Для Spark 2.4+ вы можете использовать transform + array_distinct как это:

t = "transform(matricule, x -> trim(regexp_replace(x, '^AZ', '')))"
df.withColumn("matricule", array_distinct(expr(t))).show(truncate=False) 

#+------+--------------+
#|number|matricule     |
#+------+--------------+
#|1     |[1234, 00100] |
#|23    |[1010, 12987] |
#|56    |[98989, 22222]|
#+------+--------------+

Для каждого элемента массива, используя transform, мы удаляем AZ символов из начала строки, используя regexp_replace и trim начальные и конечные пробелы, если они есть.

4
blackbishop 26 Фев 2020 в 12:53

Можете ли вы написать свой UDF как:

def remove_az(array):
    array = [w.replace('AZ', '').strip() for w in array]
    return array

remove_az_udf = F.udf(remove_az)

df = df.withColumn("AZ_2", remove_az_udf(df.matricule))
2
pissall 26 Фев 2020 в 12:52