Apache Kafka - это распределенная потоковая платформа, предназначенная для хранения и обработки высокопроизводительных потоков данных.

Подробнее про apache-kafka...

Есть ли способ создать копию темы kafka с помощью пакета kafka-python? Я пытаюсь создать резервную копию темы перед выполнением нескольких операций с данными.....
4 Фев 2022 в 16:38
Чтобы попробовать поток Kafka, я сделал следующее: public static void main(String[] args) { final StreamsBuilder builder = new StreamsBuilder(); final Properties streamsConfiguration = new Properties(); streamsConfiguration.put(StreamsConfig.APPLICATION_ID_CONFIG, "generic....
3 Фев 2022 в 15:07
Я пытаюсь запустить программу структурированной потоковой передачи на GCP Dataproc, которая получает доступ к данным из Kafka и распечатывает их. Доступ к Kafka осуществляется с использованием SSL, а файлы хранилища доверенных сертификатов и ключей хранятся в корзинах. Я использую Google Storage AP....
Я использую Spark Structured Streaming (3.2.1) с Kafka. Я пытаюсь просто прочитать JSON из Kafka, используя определенную схему. Моя проблема в том, что в определенной схеме я получил ненулевое поле, которое игнорируется, когда я читаю сообщения от Кафки. Я использую функции from_json, которые, похо....
У меня есть поток сообщений Kafka, и я хотел создать HashMap<String,List<Object>> для использования в качестве ответа API в формате Json. for (ConsumerRecord<String,String> consumerRecord : records) { if(!responses.containsKey(consumerRecord.topic())){ responses.put(consumerRecord.topic(....
1 Фев 2022 в 18:09
Недавно я начал работать с CDC на MS SQL Server. У меня есть сценарий. Включенный CDC на SQL Server Enalbed CDC на определенном столе Данные, загруженные с помощью соединителя debezium для kafka Данные были очищены заданием очистки cdc Можно ли снова запустить cdc для записи изменений с самого нача....
Это потребительский код без использования метода подписки. val consumer = KafkaConsumer<String, String>(properties) val topics = listOf(TopicPartition("TEST", 1) consumer.assgin(topics) try { do { val records = consumer.poll(Duration.ofMillis(1000)) records.forEach { ....
28 Янв 2022 в 09:02
Я реализовал потоковое приложение kafka. Допустим, одно из полей объекта, которое в данный момент обрабатывает поток, содержит число вместо строкового значения. В настоящее время, когда в логике обработки возникает исключение, например. .transform(), весь поток уничтожается, и мое приложение пере....
Недавно прочитав об архитектуре, основанной на событиях, я захотел изменить свою архитектуру на архитектуру, использующую такие сильные стороны. У меня есть две службы, которые предоставляют API (crud, graphql), каждая из которых основана на другой сущности и использует другую базу данных. Однако те....
27 Янв 2022 в 19:44
У меня есть простой интеграционный тест, который раскручивает встроенную кафку, отправляет сообщение в топик, присваивает полезную нагрузку переменной и сравнивает значение. Слушатель : @KafkaListener( topics = "topic.name", groupId = "group-id") public void receive(@Payload ConsumerRecord<?, ?> con....
Я пишу производителя кафки, а ниже мой класс. public class KafkaPublisher { @Autowired private KafkaTemplate<String,String> kafkaTemplate; @Autowired KafkaProducer producer; public void pushKafkaNotification(String partitionKey, String serializedKafkaNotification, String topic....
Есть ли хороший способ распечатать прогресс в приложении kafka stream? Я чувствую, что мое приложение отстает, и мне нужен хороший способ показать ход обработки событий в моем приложении.....
26 Янв 2022 в 02:21
У меня есть приложение, использующее spring boot и spring kafka, которое получает заголовок попытки доставки в перехватчике записей, чтобы я мог включить его в сообщения журнала. Он работал хорошо, пока я не обновился до весенней загрузки 2.6.3 и весенней кафки 2.8.2 (с 2.5.5/2.7.7). Теперь, когда ....
24 Янв 2022 в 23:07
Мы используем Kafka Streams с функциями Spring Cloud Stream. У нас есть типичный пример приложения, которое объединяет пользовательские клики kstream с пользовательскими регионами ktable. Мы знаем, что можем задать собственные имена для внутренних журналов изменений или тем перераспределения, испол....
У меня есть сервер Kafka, который работает на одном узле. Есть только 1 узел, потому что это тестовый сервер. Но даже для тестового сервера мне нужно быть уверенным, что во время обновления не произойдет потеря данных. Я обновляю Кафку как: Остановите Kafka, Zookeeper, Kafka Connect и Schema Regis....
Я настроил своего производителя как: spring.cloud.stream.bindings.pc-abc-out-0.destination=pc-abc-my-topic spring.cloud.stream.bindings.pc-abc-out-0.producer.partition-count=5 spring.cloud.stream.bindings.pc-abc-out-0.producer.header-mode=headers spring.cloud.stream.bindings.pc-abc-out-0.producer.pa....
Рассмотрим развертывание темы kafka с 3 разделами P1, P2, P3 с отставанием событий/записей в разделах, равным 100, 50, 75 для P1, P2, P3 соответственно. И предположим, что num.poll.records (максимальное количество записей, которые можно получить от брокера) равно 100. Если потребитель отправляет за....
Я пытаюсь развернуть док-контейнер с Kafka и Spark и хотел бы прочитать тему Kafka из приложения pyspark. Кафка работает и я могу написать в тему и искра тоже работает. Но когда я пытаюсь прочитать поток Kafka, я получаю сообщение об ошибке: pyspark.sql.utils.AnalysisException: Failed to find dat....
23 Янв 2022 в 18:02
Обычные (JSON) темы Kafka можно легко подключить к Hive в виде внешних таблиц, например: CREATE EXTERNAL TABLE dummy_table ( `field1` BIGINT, `field2` STRING, `field3` STRING ) STORED BY 'org.apache.hadoop.hive.kafka.KafkaStorageHandler' TBLPROPERTIES ( "kafka.topic" = "dummy_t....
23 Янв 2022 в 15:31
Я пытаюсь подключиться к DB2 iOS через Kafka Connect - Debezium для CDC извлекает из таблиц DB2 и застревает в одной точке с ошибкой ниже. Пробовал все виды изменений, но не мог заставить его работать. Кто-нибудь сталкивался с этой проблемой или что могло пойти не так или указывать на эту проблему....
22 Янв 2022 в 01:45
Я использую Spark 3.2 для получения потоковой передачи JSON из Kafka 2.12-3.0.0. Я получаю сообщение об ошибке в запросе после синтаксического анализа JSON. JSON для потоковой передачи тем Kafka: b'{"pmu_id": 2, "time": 1642771653.06, "stream_id": 2,"analog": [], "digital": 0, "frequency": 49.99, "....
У меня есть сценарий, в котором мне нужно остановить kafka и вызвать некоторую функцию для выполнения после остановки Consumer. Для того же, поток будет примерно таким: Потреблять сообщения из темы kafka Добавить каждое потребляемое сообщение в файл Остановить прослушиватель kafka, если он не получ....
Мы тестируем использование Kafka Streams через поддержку функции Spring Cloud Stream с записями ввода/вывода Avro, но устанавливаем nativeEncoding=false и nativeDecoding=false, чтобы использовать пользовательский MessageConverter, где мы делаем Преобразование Авро. Серды по умолчанию: StringSerde д....
Ниже приведена конфигурация моего коннектора JDBC-Sink: connector.class=io.confluent.connect.jdbc.JdbcSinkConnector behavior.on.null.values=ignore table.name.format=kafka_Address_V1, kafka_Attribute_V1 connection.password=*********** topics=Address,Attribute task.max=3 batch.size=500 value.converter....
Я пытаюсь использовать Spring Cloud Stream для обработки сообщений, отправленных в экземпляр концентратора событий Azure. Эти сообщения должны направляться в тему конкретного арендатора, определяемую во время выполнения на основе содержимого сообщения в кластере Kafka. В целях разработки я запуска....