как работают широковещательные переменные pyspark

Я считаю, что ваша проблема - это просто проблема с областью действия Python. Если вы попробуете следующий код Python, отличный от Spark, он также выдаст ошибку «V» не определен:

def runner(func):
    func()

def main():
    V = 22
    A = runner(worker)

def worker():
    print V

if __name__ == '__main__':
    main()

Одно исправление заключается в том, что вы можете переместить worker() внутрь main() (или, альтернативно, сделать V глобальной переменной):

def main():
    sc = SparkContext()
    someValue = rand()
    V = sc.broadcast(someValue)
    def worker(element):
        element *= V.value
    A = sc.parallelize().map(worker)

Из научных статей Spark Spark: кластерные вычисления с рабочими наборами Матей Захария, Мошараф Чоудхури, Майкл Дж. Франклин, Скотт Шенкер, Ион Стойка. HotCloud 2010. Июнь 2010.

Общие переменные: два типа общих переменных в Spark, широковещательные переменные и аккумуляторы, реализуются с использованием классов с пользовательскими форматами сериализации. Когда кто-то создает широковещательную переменную b со значением v, v сохраняется в файл в общей файловой системе. Сериализованная форма b — это путь к этому файлу. Когда значение b запрашивается на рабочем узле, Spark сначала проверяет, находится ли v в локальном кеше, и считывает его из файловой системы, если это не так. Первоначально мы использовали HDFS для трансляции переменных, но мы разрабатываем более эффективную систему потокового вещания.