У меня есть кластер EMR

response = emr_client.run_job_flow(
    Name="Test dashboards",
    ReleaseLabel='emr-6.2.0',
    LogUri=f"s3://my-bucket/emr_logs/",
    Instances={
        'MasterInstanceType': 'm6g.2xlarge',
        'SlaveInstanceType': 'm6g.2xlarge',
        'InstanceCount': 2,
        'KeepJobFlowAliveWhenNoSteps': True,
        'TerminationProtected': False,
        'Ec2SubnetId': emr_config['Instances']['Ec2SubnetId'],
        'AdditionalMasterSecurityGroups': emr_config['Instances']['AdditionalMasterSecurityGroups']
    },
    VisibleToAllUsers=True,
    JobFlowRole=emr_config['JobFlowRole'],
    ServiceRole=emr_config['ServiceRole'],
    StepConcurrencyLevel=1,
    Applications=[
        {"Name":"Spark"},
        {"Name": "JupyterHub"},
        {"Name": "Ganglia"}
    ]
)

Когда я хочу просмотреть панели мониторинга, работает нормально для jupyterhub / диспетчера ресурсов Yarn / ... (т.е.

  • http://master-public-dns-name:8088/
  • https://master-public-dns-name:9433/

Но когда я пытаюсь получить доступ к Ganglia http://master-public-dns-name/ganglia, я получаю 403 Forbidden.

Требуется ли дополнительная настройка?

3
Robin Nemeth 5 Фев 2021 в 17:00

1 ответ

Лучший ответ

Хорошо, ответ такой же, как это

ssh переход к главному узлу и запуск

sudo sed -i 's/Order deny,allow/#Order deny,allow/g' /etc/httpd/conf.d/ganglia.conf
sudo service httpd reload

Устраняет проблему.

Проблема здесь в том, что вы не можете просто поместить это в сценарий начальной загрузки, потому что они выполняются до установки программного обеспечения в кластере. Рисунок из этот ответ вы можете создать сценарий оболочки s3://my-bucket/fix_ganglia.sh

if [ -f "/etc/httpd/conf.d/ganglia.conf" ]; then
    echo "Setting up ganglia on master node"
    sudo sed -i 's/Order deny,allow/#Order deny,allow/g' /etc/httpd/conf.d/ganglia.conf
    sudo service httpd reload
fi

И настройте его как шаг с помощью script-runner.jar

Steps = [{
    'Name': 'Fix Ganglia access',
    'ActionOnFailure': 'CONTINUE',
    'HadoopJarStep': {
        'Jar': 's3://ap-southeast-1.elasticmapreduce/libs/script-runner/script-runner.jar',
        'Args': ['s3://my-bucket/fix_ganglia.sh']
    }
}]

И это должно работать.

0
Robin Nemeth 3 Мар 2021 в 10:31