Предположим, у меня есть фрейм данных со столбцом с именем x с диапазоном значений [0, 1]. Я надеюсь разделить его на значение столбца x с диапазонами, такими как [0, 0.1), [0.1, 0.2) ... [0.9, 1]. Есть ли хороший и быстрый способ сделать это? Я использую Spark 2 в Scala.

Обновление: в идеале должно быть 10 новых фреймов данных, которые содержат данные для каждого диапазона.

0
Mr.cysl 29 Май 2017 в 05:58

2 ответа

Лучший ответ

Расширяя решение @ Psidom для создания диапазонов, вот один из подходов для создания кадра данных для каждого диапазона:

import org.apache.spark.sql.types.IntegerType
val df = Seq(0.2, 0.71, 0.95, 0.33, 0.28, 0.8, 0.73).toDF("x")
val df2 = df.withColumn("g", ($"x" * 10.0).cast(IntegerType))

df2.show
+----+---+
|   x|  g|
+----+---+
| 0.2|  2|
|0.71|  7|
|0.95|  9|
|0.33|  3|
|0.28|  2|
| 0.8|  8|
|0.73|  7|
+----+---+

val dfMap = df2.select($"g").distinct.
  collect.
  flatMap(_.toSeq).
  map( g => g -> df2.where($"g" === g) ).
  toMap

dfMap.getOrElse(3, null).show
+----+---+
|   x|  g|
+----+---+
|0.33|  3|
+----+---+

dfMap.getOrElse(7, null).show
+----+---+
|   x|  g|
+----+---+
|0.71|  7|
|0.73|  7|
+----+---+

[ОБНОВИТЬ]

Если ваши диапазоны нерегулярны, вы можете определить функцию, которая отображает Double в соответствующий идентификатор диапазона Int, а затем оберните его UDF, как показано ниже:

val g: Double => Int = x => x match {
  case x if (x >= 0.0 && x < 0.12345) => 1
  case x if (x >= 0.12345 && x < 0.4834) => 2
  case x if (x >= 0.4834 && x < 1.0) => 3
  case _ => 99  // catch-all
}

val groupUDF = udf(g)

val df = Seq(0.1, 0.2, 0.71, 0.95, 0.03, 0.09, 0.44, 5.0).toDF("x")
val df2 = df.withColumn("g", groupUDF($"x"))

df2.show
+----+---+
|   x|  g|
+----+---+
| 0.1|  1|
| 0.2|  2|
|0.71|  3|
|0.95|  3|
|0.03|  1|
|0.09|  1|
|0.44|  2|
| 5.0| 99|
+----+---+
0
Leo C 1 Июн 2017 в 01:41

Если вы намеревались дискретизировать столбец с двойным типом, вы можете просто сделать это (умножьте столбец на 10 и затем приведите его к целочисленному типу, столбец будет разрезан на 10 дискретных столбцов):

import org.apache.spark.sql.types.IntegerType

val df = Seq(0.32, 0.5, 0.99, 0.72, 0.11, 0.03).toDF("A")
// df: org.apache.spark.sql.DataFrame = [A: double]

df.withColumn("new", ($"A" * 10).cast(IntegerType)).show
+----+---+
|   A|new|
+----+---+
|0.32|  3|
| 0.5|  5|
|0.99|  9|
|0.72|  7|
|0.11|  1|
|0.03|  0|
+----+---+
0
Psidom 29 Май 2017 в 03:12