Почему мне нужно устанавливать параметр «transform_ctx» при вызове операций преобразования и приемника, чтобы закладка AWS Glue работала?

У меня были те же сомнения по поводу закладок несколько месяцев назад (октябрь 2019 г.), и поскольку документация, предоставленная Amazon, не очень ясна, я открыл обращение в службу поддержки, чтобы больше узнать, как это реализовано.

В моей работе с клеем было:

• Функция чтения из S3 (glue_context.create_dynamic_frame.from_options)
• ResolveChoice.apply
• Функция записи в Redshift (glue_context.write_dynamic_frame.from_jdbc_conf)

Все эти операции имеют значение transform_ctx, я тестировал разные возможные варианты поведения (одинаковый transform_ctx для всех, разные фиксированные значения, динамические значения и т. Д.).

После многих сообщений с поддержкой AWS они подтверждают, что закладки работают только с функцией чтения (они также сказали, что в качестве источника используется только S3, но я не тестировал его), поэтому я спрашиваю, бесполезен ли transform_ctx в ResolveChoice (и функция записи тоже), и они сказали ДА! Они подтвердили, что это не имеет значения.

Кроме того, для функции записи она ничего не меняет, поэтому здесь нет логики закладок или «функции предотвращения», если она уже была запущена ранее.