Apache Kafka - это распределенная потоковая платформа, предназначенная для хранения и обработки высокопроизводительных потоков данных.
Есть ли способ создать копию темы kafka с помощью пакета kafka-python? Я пытаюсь создать резервную копию темы перед выполнением нескольких операций с данными.....
4 Фев 2022 в 16:38
Чтобы попробовать поток Kafka, я сделал следующее:
public static void main(String[] args) {
final StreamsBuilder builder = new StreamsBuilder();
final Properties streamsConfiguration = new Properties();
streamsConfiguration.put(StreamsConfig.APPLICATION_ID_CONFIG, "generic....
3 Фев 2022 в 15:07
Я пытаюсь запустить программу структурированной потоковой передачи на GCP Dataproc, которая получает доступ к данным из Kafka и распечатывает их.
Доступ к Kafka осуществляется с использованием SSL, а файлы хранилища доверенных сертификатов и ключей хранятся в корзинах. Я использую Google Storage AP....
3 Фев 2022 в 02:28
Я использую Spark Structured Streaming (3.2.1) с Kafka.
Я пытаюсь просто прочитать JSON из Kafka, используя определенную схему.
Моя проблема в том, что в определенной схеме я получил ненулевое поле, которое игнорируется, когда я читаю сообщения от Кафки. Я использую функции from_json, которые, похо....
2 Фев 2022 в 19:07
У меня есть поток сообщений Kafka, и я хотел создать HashMap<String,List<Object>> для использования в качестве ответа API в формате Json.
for (ConsumerRecord<String,String> consumerRecord : records) {
if(!responses.containsKey(consumerRecord.topic())){
responses.put(consumerRecord.topic(....
1 Фев 2022 в 18:09
Недавно я начал работать с CDC на MS SQL Server. У меня есть сценарий.
Включенный CDC на SQL Server Enalbed CDC на определенном столе Данные, загруженные с помощью соединителя debezium для kafka Данные были очищены заданием очистки cdc
Можно ли снова запустить cdc для записи изменений с самого нача....
28 Янв 2022 в 13:19
Это потребительский код без использования метода подписки.
val consumer = KafkaConsumer<String, String>(properties)
val topics = listOf(TopicPartition("TEST", 1)
consumer.assgin(topics)
try {
do {
val records = consumer.poll(Duration.ofMillis(1000))
records.forEach {
....
28 Янв 2022 в 09:02
Я реализовал потоковое приложение kafka. Допустим, одно из полей объекта, которое в данный момент обрабатывает поток, содержит число вместо строкового значения. В настоящее время, когда в логике обработки возникает исключение, например. .transform(), весь поток уничтожается, и мое приложение пере....
27 Янв 2022 в 20:25
Недавно прочитав об архитектуре, основанной на событиях, я захотел изменить свою архитектуру на архитектуру, использующую такие сильные стороны.
У меня есть две службы, которые предоставляют API (crud, graphql), каждая из которых основана на другой сущности и использует другую базу данных.
Однако те....
27 Янв 2022 в 19:44
У меня есть простой интеграционный тест, который раскручивает встроенную кафку, отправляет сообщение в топик, присваивает полезную нагрузку переменной и сравнивает значение.
Слушатель :
@KafkaListener( topics = "topic.name", groupId = "group-id")
public void receive(@Payload ConsumerRecord<?, ?> con....
26 Янв 2022 в 14:53
Я пишу производителя кафки, а ниже мой класс.
public class KafkaPublisher {
@Autowired
private KafkaTemplate<String,String> kafkaTemplate;
@Autowired
KafkaProducer producer;
public void pushKafkaNotification(String partitionKey, String serializedKafkaNotification, String topic....
26 Янв 2022 в 14:26
Есть ли хороший способ распечатать прогресс в приложении kafka stream? Я чувствую, что мое приложение отстает, и мне нужен хороший способ показать ход обработки событий в моем приложении.....
26 Янв 2022 в 02:21
У меня есть приложение, использующее spring boot и spring kafka, которое получает заголовок попытки доставки в перехватчике записей, чтобы я мог включить его в сообщения журнала. Он работал хорошо, пока я не обновился до весенней загрузки 2.6.3 и весенней кафки 2.8.2 (с 2.5.5/2.7.7).
Теперь, когда ....
24 Янв 2022 в 23:07
Мы используем Kafka Streams с функциями Spring Cloud Stream. У нас есть типичный пример приложения, которое объединяет пользовательские клики kstream с пользовательскими регионами ktable.
Мы знаем, что можем задать собственные имена для внутренних журналов изменений или тем перераспределения, испол....
24 Янв 2022 в 20:24
У меня есть сервер Kafka, который работает на одном узле. Есть только 1 узел, потому что это тестовый сервер. Но даже для тестового сервера мне нужно быть уверенным, что во время обновления не произойдет потеря данных.
Я обновляю Кафку как:
Остановите Kafka, Zookeeper, Kafka Connect и Schema Regis....
24 Янв 2022 в 11:42
Я настроил своего производителя как:
spring.cloud.stream.bindings.pc-abc-out-0.destination=pc-abc-my-topic
spring.cloud.stream.bindings.pc-abc-out-0.producer.partition-count=5
spring.cloud.stream.bindings.pc-abc-out-0.producer.header-mode=headers
spring.cloud.stream.bindings.pc-abc-out-0.producer.pa....
24 Янв 2022 в 11:32
Рассмотрим развертывание темы kafka с 3 разделами P1, P2, P3 с отставанием событий/записей в разделах, равным 100, 50, 75 для P1, P2, P3 соответственно. И предположим, что num.poll.records (максимальное количество записей, которые можно получить от брокера) равно 100.
Если потребитель отправляет за....
23 Янв 2022 в 19:45
Я пытаюсь развернуть док-контейнер с Kafka и Spark и хотел бы прочитать тему Kafka из приложения pyspark. Кафка работает и я могу написать в тему и искра тоже работает. Но когда я пытаюсь прочитать поток Kafka, я получаю сообщение об ошибке:
pyspark.sql.utils.AnalysisException: Failed to find dat....
23 Янв 2022 в 18:02
Обычные (JSON) темы Kafka можно легко подключить к Hive в виде внешних таблиц, например:
CREATE EXTERNAL TABLE
dummy_table (
`field1` BIGINT,
`field2` STRING,
`field3` STRING
)
STORED BY
'org.apache.hadoop.hive.kafka.KafkaStorageHandler'
TBLPROPERTIES (
"kafka.topic" = "dummy_t....
23 Янв 2022 в 15:31
2
Ошибка Java Lang Null Pointer при подключении DB2 iOS к Debezium и Kakfa Connect для извлечения CDC
Я пытаюсь подключиться к DB2 iOS через Kafka Connect - Debezium для CDC извлекает из таблиц DB2 и застревает в одной точке с ошибкой ниже. Пробовал все виды изменений, но не мог заставить его работать. Кто-нибудь сталкивался с этой проблемой или что могло пойти не так или указывать на эту проблему....
22 Янв 2022 в 01:45
Я использую Spark 3.2 для получения потоковой передачи JSON из Kafka 2.12-3.0.0. Я получаю сообщение об ошибке в запросе после синтаксического анализа JSON.
JSON для потоковой передачи тем Kafka:
b'{"pmu_id": 2, "time": 1642771653.06, "stream_id": 2,"analog": [], "digital": 0, "frequency": 49.99, "....
21 Янв 2022 в 19:59
У меня есть сценарий, в котором мне нужно остановить kafka и вызвать некоторую функцию для выполнения после остановки Consumer. Для того же, поток будет примерно таким:
Потреблять сообщения из темы kafka Добавить каждое потребляемое сообщение в файл Остановить прослушиватель kafka, если он не получ....
21 Янв 2022 в 09:28
Мы тестируем использование Kafka Streams через поддержку функции Spring Cloud Stream с записями ввода/вывода Avro, но устанавливаем nativeEncoding=false и nativeDecoding=false, чтобы использовать пользовательский MessageConverter, где мы делаем Преобразование Авро.
Серды по умолчанию: StringSerde д....
20 Янв 2022 в 19:58
Ниже приведена конфигурация моего коннектора JDBC-Sink:
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
behavior.on.null.values=ignore
table.name.format=kafka_Address_V1, kafka_Attribute_V1
connection.password=***********
topics=Address,Attribute
task.max=3
batch.size=500
value.converter....
20 Янв 2022 в 17:00
Я пытаюсь использовать Spring Cloud Stream для обработки сообщений, отправленных в экземпляр концентратора событий Azure. Эти сообщения должны направляться в тему конкретного арендатора, определяемую во время выполнения на основе содержимого сообщения в кластере Kafka. В целях разработки я запуска....
20 Янв 2022 в 14:14
En Español