Я установил pyspark на macOS с помощью brew, но получаю сообщение об ошибке, когда набираю pyspark в zsh:

Traceback (most recent call last):
  File "/opt/homebrew/bin/find_spark_home.py", line 86, in <module>
    print(_find_spark_home())
  File "/opt/homebrew/bin/find_spark_home.py", line 52, in _find_spark_home
    module_home = os.path.dirname(find_spec("pyspark").origin)
AttributeError: 'NoneType' object has no attribute 'origin'

Я попытался установить путь внутри скрипта pyspark, но затем получил

/opt//homebrew/Cellar/apache-spark/3.3.1/bin/load-spark-env.sh: line 2: /opt/homebrew/Cellar/apache-spark/3.3.1/libexec/bin/load-spark-env.sh: Permission denied
/opt//homebrew/Cellar/apache-spark/3.3.1/bin/load-spark-env.sh: line 2: exec: /opt/homebrew/Cellar/apache-spark/3.3.1/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0

Как мне исправить эту ошибку?

macos apache-spark pyspark homebrew
0
DrRaspberry 23 Янв 2023 в 21:56

1 ответ

Сначала мне пришлось найти и скопировать каталог искр apache в usr/local:

sudo cp -r /opt/homebrew/Cellar/apache-spark /usr/local/Cellar/

Я нашел искровой каталог с sudo find /opt/ -name find_spark_home.py затем я устанавливаю переменные среды:

SPARK_HOME=/usr/local/Cellar/apache-spark/3.3.1/libexec
export PATH=/usr/local/Cellar/apache-spark/3.3.1/bin:$PATH

После этого ввод pyspark дает:

Python 3.9.6 (default, Oct 18 2022, 12:41:40) 
[Clang 14.0.0 (clang-1400.0.29.202)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
23/01/23 13:31:11 WARN Utils: Your hostname, Reggies-MacBook-Pro.local resolves to a loopback address: 127.0.0.1; using 192.168.0.20 instead (on interface en0)
23/01/23 13:31:11 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
23/01/23 13:31:12 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.3.1
      /_/

Using Python version 3.9.6 (default, Oct 18 2022 12:41:40)
Spark context Web UI available at http://192.168.0.20:4040
Spark context available as 'sc' (master = local[*], app id = local-1674498672860).
SparkSession available as 'spark'.
0
DrRaspberry 23 Янв 2023 в 21:56
Если вы хотите использовать pyspark с Jupyter, вам также могут понадобиться «export PYSPARK_DRIVER_PYTHON_OPTS='notebook'» и «export PYSPARK_DRIVER_PYTHON=jupyter».
 – 
DrRaspberry
23 Янв 2023 в 22:19

Похожие вопросы

3 Meld установлен с Homebrew «Не удается связать домен перевода» Ошибка
2 Ошибка выполнения .show () в запросе Spark sql SELECT
1 AttributeError: объект «HashingTF» не имеет атрибута «_java_obj»
1 load-spark-env.sh, spark-submit: нет такого файла или каталога
1 Pyspark – dataframe..write – AttributeError: объект «NoneType» не имеет атрибута «режим»
1 PySpark запускается локально на Mac: причина: java.io.IOException: невозможно запустить программу «/usr/local/Cellar/apache-spark/3.0.1/libexec/bin»
1 Как установить gcc 11.2.0 на macOS Big Sur с процессором Apple M1
1 Как подключить S3 к pyspark локально (org.apache.hadoop.fs.UnsupportedFileSystemException: нет файловой системы для схемы «s3»)
💵 Получи $100 на хостинг на 60 дней.
Регистрируйся!

Новые вопросы

1 Как создать mainMenu и пункты меню в AppDelegate для Cocoa macOS?
2 Почему докер postgresql составляет настройку тома, которая должна быть /var/lib/postgresql/data?
1 Как установить LPRng на Mac OS?
2 Установка конкретной версии PostgresSql на Mac
1 Псевдоним «/var/run/syslog» на «/dev/log» в MacOS 13.
1 Как я могу прочитать столбец «attributedBody» в базе данных MacOS iMessage?
2 Нет файла или каталога: «ffmpeg» в MacOS в Python
1 При закрытии и открытии vscode все расширения необходимо загрузить снова (после миграции Mac)
1 Нет такого файла или каталога: «ffmpeg» в MacOS в Python
1 yawsso не может найти правильный awscli
Все вопросы по теме macos >

macos

macOS (ранее известная как OS X или Mac OS X) - это операционная система для настольных ПК от Apple, установленная на компьютерах Macintosh.  Используйте этот тег только в том случае, если ваш вопрос касается использования API-интерфейсов macOS или поведения, специфичного для macOS, а не потому, что вы запускаете свой код в macOS. Вопросы, связанные с использованием или устранением неполадок macOS, не относятся к теме и принадлежат сообществу «Спроси другое».

Подробнее про macos...