Я попытался реализовать приложение Spark Streaming, которое считывает потоковые данные из Kafka. Потоковые данные представляют собой пары (ключ, значение) в форме «String, int», и я хочу вычислить среднее значение каждого ключа. Данные представлены в следующей форме:

x,20
y,10
z,3
...

Я хочу измерить среднее значение для каждого ключа с отслеживанием состояния. Поэтому я намерен сохранить сумму значения и то, сколько раз соответствующий ключ появляется в State в функции сопоставления.

 def mappingFunc(key: String, value: Option[Double], state: State[Double], count: State[Int]): (String, Double) = {
        val sum = value.getOrElse(0.0) + state.getOption.getOrElse(0.0)
        val cnt = count.getOption.getOrElse(1) + 1
        state.update(sum)
        count.update(cnt)
        val output = (key, sum/cnt)
        output
    }

Это напоминает мне об ошибке:

[error] /Users/Rabbit/Desktop/KTH_Second_Year/Periods/P1/Data-intensive_Computing/Lab_Assignment/lab3/src/sparkstreaming/KafkaSpark.scala:78: wrong number of type parameters for overloaded method value function with alternatives:
[error]   [KeyType, ValueType, StateType, MappedType](mappingFunction: org.apache.spark.api.java.function.Function3[KeyType,org.apache.spark.api.java.Optional[ValueType],org.apache.spark.streaming.State[StateType],MappedType])org.apache.spark.streaming.StateSpec[KeyType,ValueType,StateType,MappedType] <and>
[error]   [KeyType, ValueType, StateType, MappedType](mappingFunction: org.apache.spark.api.java.function.Function4[org.apache.spark.streaming.Time,KeyType,org.apache.spark.api.java.Optional[ValueType],org.apache.spark.streaming.State[StateType],org.apache.spark.api.java.Optional[MappedType]])org.apache.spark.streaming.StateSpec[KeyType,ValueType,StateType,MappedType] <and>
[error]   [KeyType, ValueType, StateType, MappedType](mappingFunction: (KeyType, Option[ValueType], org.apache.spark.streaming.State[StateType]) => MappedType)org.apache.spark.streaming.StateSpec[KeyType,ValueType,StateType,MappedType] <and>
[error]   [KeyType, ValueType, StateType, MappedType](mappingFunction: (org.apache.spark.streaming.Time, KeyType, Option[ValueType], org.apache.spark.streaming.State[StateType]) => Option[MappedType])org.apache.spark.streaming.StateSpec[KeyType,ValueType,StateType,MappedType]

Как я могу передать сумму значения и счет одновременно в Spark Streaming?

0
Coding_Rabbit 6 Окт 2018 в 00:35

1 ответ

Лучший ответ

Вам нужно объединить сумму и счет как кортеж (Double, Int), который хранится в состоянии. Следующий фрагмент должен помочь:

def mappingFunc(key: String, value: Option[Double], state: State[(Double, Int)]): (String, Double) = {
    val (sum, cnt) = state.getOption.getOrElse((0.0, 0))
    val newSum = value.getOrElse(0.0) + sum
    val newCnt = cnt + 1
    state.update((newSum, newCnt))
    (key, newSum/newCnt)
}
1
Till Rohrmann 5 Окт 2018 в 22:17