У меня есть работающий кластер на EMR, он находится на «стартовом» этапе.

Можно ли отредактировать его параметр, чтобы изменить withKeepJobFlowAliveWhenNoSteps с false на true?

Я бы хотел, чтобы он не умер, пока добавляю ступеньку. И, может быть, какое-то время оставит его в живых.

Но в какой-то момент позвольте ему завершить работу и верните эту настройку обратно на false.

Спасибо.

0
Wonay 6 Мар 2019 в 00:09

1 ответ

Лучший ответ

Есть два варианта управления сроком службы кластера:

1) KeepJobFlowAliveWhenNoSteps - на уровне EMR, т.е. поддерживать кластер в рабочем состоянии, когда нет шагов EMR для запуска

2) TerminationProtection - на нижележащем уровне EC2, доступном также в EC2, прекратите отключение кластера.

Вы можете включить on и off любую из опций, чтобы сохранить кластер on, когда пошаговая обработка не удалась. Для этого

Из консоли при создании кластера (перейдите к дополнительным параметрам)

  • KeepJobFlowAliveWhenNoSteps: установите флажок Auto-terminate cluster after the last step is completed
  • Защита от прерывания: Включена Termination protection проверка

Использование API / SDK при создании кластера

Обновление: в настоящее время вы не можете обновить работающий кластер, вам придется завершить работу и клонировать кластер (может даже иметь то же имя).

1
Naveen Cotha 7 Мар 2019 в 14:50