В тематической документации Apache Pulsar говорится, можем ли мы установить для политики сохранения времени темы значение -1 для бесконечного хранения на основе времени, каковы недостатки бесконечного хранения и можем ли мы использовать Pulsar в качестве хранилища сообщений, где данные вечно хранятся в темах, и создать источники событий приложение вокруг них?
2 ответа
Обратной стороной является то, что ваши данные будут расти вечно. Однако из-за сегментной архитектуры базового хранилища (бухгалтера) можно добавить больше места, добавив узлы хранилища (т. Е. Все данные не обязательно помещаются на одном компьютере, как в некоторых других системах).
Сегментная архитектура также упрощает перемещение данных в систему массового хранения (s3 или что-то в этом роде), при этом они доступны в Pulsar. Однако сейчас это все еще находится на ранних стадиях обсуждения.
Фактически, вы можете и должны использовать опцию Многоуровневое хранилище Pulsar для разгрузки ваши старые данные в более экономичное хранилище, такое как S3, Google Blob Storage или HDFS. В отличие от Kafka, Pulsar отделил обслуживающие слои от слоев хранения, что позволяет это сделать. В Kafka вам придется «бесконечно добавлять жесткие диски» и экземпляры брокера для их хранения.
En Español