У меня есть сценарий использования с этими данными:

1. "apple+case"
2. "apple+case+10+cover"
3. "apple+case+10++cover"
4. "+apple"
5. "iphone8+"

В настоящее время я делаю это, чтобы заменить + пробелом следующим образом:

def normalizer(value: String): String = {
    if (value == null) {
      null
    } else {
       value.replaceAll("\\+", BLANK_SPACE)        
     }
  }

  val testUDF = udf(normalizer(_: String): String)

  df.withColumn("newCol",  testUDF($"value"))

Но это заменяет все "+". Как заменить «+», который находится между строками, а также обрабатывать варианты использования, такие как: «apple + case + 10 ++ cover» => «apple case 10+ cover»?

The output should be
1. "apple case"
2. "apple case 10 cover"
3. "apple case 10+ cover"
4. "apple"
5. "iphone8+"
2
user3407267 16 Апр 2020 в 05:31

2 ответа

Лучший ответ

Вы можете использовать regexp_replace для этого вместо udf, это должно быть намного быстрее. В большинстве случаев вы можете использовать отрицательное предположение в регулярном выражении, но для «+ apple» вы на самом деле хотите заменить «+» на «» (а не пробел). Самый простой способ - просто использовать регулярные выражения.

df.withColumn("newCol", regexp_replace($"value", "^\\+", ""))
  .withColumn("newCol", regexp_replace($"newCol", "\\+(?!\\+|$)", " "))

Это даст:

+--------------------+--------------------+
|value               |newCol              |
+--------------------+--------------------+
|apple+case          |apple case          |
|apple+case+10+cover |apple case 10 cover |
|apple+case+10++cover|apple case 10+ cover|
|+apple              |apple               |
|iphone8+            |iphone8+            |
+--------------------+--------------------+

Чтобы сделать это более модульным и многократно используемым, вы можете определить его как функцию:

def normalizer(c: String) = regexp_replace(regexp_replace(col(c), "^\\+", ""), "\\+(?!\\+|$)", " ")

df.withColumn("newCol", normalizer("value"))
1
Shaido - Reinstate Monica 16 Апр 2020 в 03:05

Вы можете попробовать сделать две замены регулярных выражений:

df.withColumn("newCol", regexp_replace(
    regexp_replace(testUDF("value"), "(?<=\d)\+(?!\+)", "+ "),
    "(?<!\d)\+", " ")).show

Замена внутреннего регулярного выражения будет нацелена на крайний случай одиночного плюса, которому предшествует цифра, которую следует заменить, добавив пробел (но не удаляя плюс). Пример:

apple+case+10+cover  -->  apple+case+10+ cover

Затем замена внешнего регулярного выражения нацеливается на все плюсы, которым не предшествует цифра, и заменяет их пробелом. Пример, продолжая сверху:

apple+case+10+ cover -->  apple case 10+ cover
0
Tim Biegeleisen 16 Апр 2020 в 02:56