В тематической документации Apache Pulsar говорится, можем ли мы установить для политики сохранения времени темы значение -1 для бесконечного хранения на основе времени, каковы недостатки бесконечного хранения и можем ли мы использовать Pulsar в качестве хранилища сообщений, где данные вечно хранятся в темах, и создать источники событий приложение вокруг них?

4
Paul 14 Мар 2018 в 03:53

2 ответа

Лучший ответ

Обратной стороной является то, что ваши данные будут расти вечно. Однако из-за сегментной архитектуры базового хранилища (бухгалтера) можно добавить больше места, добавив узлы хранилища (т. Е. Все данные не обязательно помещаются на одном компьютере, как в некоторых других системах).

Сегментная архитектура также упрощает перемещение данных в систему массового хранения (s3 или что-то в этом роде), при этом они доступны в Pulsar. Однако сейчас это все еще находится на ранних стадиях обсуждения.

8
Ivan Kelly 14 Мар 2018 в 16:22

Фактически, вы можете и должны использовать опцию Многоуровневое хранилище Pulsar для разгрузки ваши старые данные в более экономичное хранилище, такое как S3, Google Blob Storage или HDFS. В отличие от Kafka, Pulsar отделил обслуживающие слои от слоев хранения, что позволяет это сделать. В Kafka вам придется «бесконечно добавлять жесткие диски» и экземпляры брокера для их хранения.

2
David Kjerrumgaard 17 Сен 2019 в 23:12