У меня есть очередь SQS, которая будет заполнена json-сообщением, когда в моем ведре S3 будет какое-либо событие CREATE.

Сообщение содержит корзину и имя объекта

Также есть образ Docker, который содержит скрипт Python, который будет читать сообщение из sqs. С помощью этого сообщения он загрузит соответствующий объект из S3. Наконец, скрипт прочитает объект и поместит некоторые значения в Dynamodb.

1. При отправке одного задания в пакет AWS я могу выполнить вышеуказанный вариант использования. Но это отнимает много времени, потому что у меня объект 80k, а средний размер объекта 300 МБ.

  1. При отправке как многоузловая параллельная работа. Задание застревает в состоянии выполнения, а главный узел переходит в состояние сбоя.

Примечание. Тип объекта - MF4 (файл измерений) из автомобильного регистратора. Поэтому необходимо загрузить на локальный компьютер, чтобы прочитать объект с помощью asammdf.

Вопрос 1. Как использовать пакетное многоузловое параллельное задание AWS.

Вопрос 2: Могу ли я попробовать другие сервисы для достижения параллелизма.

Ответы с примерами будут более полезными.

Спасибо😊

0
Sarathy Velmurugan 12 Янв 2020 в 16:49

1 ответ

Я думаю, вы ищете задания с массивами AWS Batch, не MNP Jobs. Задания MNP предназначены для распределения одного задания по нескольким хостам (MPI или NCCL).

0
guest 16 Янв 2020 в 06:01