Kafka-Python обеспечивает низкоуровневую поддержку протоколов для Apache Kafka, а также высокоуровневые классы потребителей и производителей. Пакетная обработка запросов поддерживается протоколом, а также маршрутизацией запросов с учетом брокера. Сжатие Gzip и Snappy также поддерживается для наборов сообщений.

Подробнее про kafka-python...

Есть ли способ создать копию темы kafka с помощью пакета kafka-python? Я пытаюсь создать резервную копию темы перед выполнением нескольких операций с данными.....
4 Фев 2022 в 16:38
Я хочу использовать KafkaConsumer из kafka-python для получения первых N сообщений в теме: from kafka import KafkaConsumer as kc import json bootstrap_servers = ['xx.xxx.xx.xxx:9092'] topic_name = 'my_topic_name' consumer = kc(topic_name, group_id='group1', bootstrap_servers=bootstrap_servers, ....
26 Окт 2021 в 00:24
Похоже, что зачет не совершается. Я использую пакет Python kafka. Это мой код from kafka import KafkaConsumer consumer = KafkaConsumer( 'quickstart-events', bootstrap_servers=['localhost:9092'], auto_offset_reset='earliest', enable_auto_commit=True, group_id='my-group', aut....
25 Окт 2021 в 19:29
Я обнаружил следующую ошибку: Traceback (most recent call last): connection = KafkaProducer(kafka_settings['topic'], bootstrap_servers=kafka_settings['bootstrap_servers']) TypeError: __init__() takes 1 positional argument but 2 were given Для меня это странно, потому что я следовал предоставленной ....
21 Окт 2021 в 16:39
Я хочу зарегистрировать или распечатать смещение, раздел и тему из сообщения Кафки. Я могу распечатать значение сообщения, но я хочу увидеть, какое смещение и раздел из Kafka с помощью python, чтобы я мог отлаживать свой код. from kafka import KafkaConsumer consumer = KafkaConsumer('my-topic', ....
Я хочу вести прямую трансляцию из одной системы в другую. Я использую kafka-python и могу вести прямую трансляцию локально. Получается, что разъемы будут работать с несколькими устройствами. Может ли кто-нибудь предложить мне способ использования соединителей для его реализации на Python?....
Я хотел бы создать новую тему kafka с помощью python, и я получаю сообщение об ошибке, когда пытаюсь создать KafkaAdminClient с помощью server="kafka:9092": self._kafka_admin = KafkaAdminClient( bootstrap_servers=[server], api_version=(0, 10, 2), ....
3 Окт 2021 в 18:30
Это может быть связано или не быть связано с Кафкой, но я столкнулся с этим при изучении Кафки. У меня есть скрипт производителя Python, который выглядит так: from kafka import KafkaProducer from json import dumps class Producer: def __init__(self): self.connection = KafkaProducer( ....
19 Сен 2021 в 16:34
Мне нужно просто следить за тем, работает ли мой кластер Kafka. Время от времени машины с Kafka выключались. Я хочу отправить оповещение по электронной почте, если кластер недоступен. Я могу создать производителя и потребителя для периодической отправки и получения фиктивных сообщений. Есть ли бо....
20 Июл 2021 в 02:00
Как я могу добавить схему для сообщения json в aiokafka? Kafka Connect не может работать без него. import asyncio import json import random import aiokafka from faker import Faker def serializer(value): return json.dumps(value).encode() async def produce(): fake = Faker(['ru_RU']) ....
У нас есть требование, в котором нам нужно целенаправленно разбалансировать кластер Kafka, назначив распределение трафика для кластера из 3 брокеров, например, 80%, брокеру 1, 15%, брокеру 2, 5%, брокеру 3 и отправить сообщения для тем на брокеры по распределению брокерского трафика. Чтобы реализов....
12 Июл 2021 в 04:27
Я новичок в мире kafka и пытаюсь сделать следующее для потребителя kafka в python получить список всех тем о кафках. получить список тем, на которые подписан потребитель. подписывайтесь на новые темы (на которые еще не подписывались). Примечание. Для этого я могу использовать либо библиотеку conflue....
Я использую python-kafka для прослушивания темы kafka и использования этих записей. Я хочу, чтобы он продолжал опрашивать бесконечно без выхода. Это мой код ниже: def test(): consumer = KafkaConsumer('abc', 'localhost:9092', auto_offset_reset='earliest') for msg in consumer: print(....
Есть ли способ сначала обработать сообщения с высоким приоритетом? Я попытался создать три темы «высокий», «средний» и «низкий» и подписался на все три темы с одним потребителем, и если в «высокой» теме есть необработанное сообщение, остальные две будут приостановлены. Есть ли лучший способ реализо....
from kafka import KafkaConsumer import json import io if __name__ == '__main__': # consumer = KafkaConsumer( # 'ldt_lm_mytable', # bootstrap_servers = 'localhost:9092', # auto_offset_reset = 'earliest', # group_id = 'consumer_group_a') KAFKA_HOSTS = ['kafka:9092'] KA....
$ docker run 34a24a8a745e Traceback (most recent call last): File "//producer.py", line 1, in <module> from kafka.producer import KafkaProducer File "/usr/local/lib/python3.9/site-packages/kafka/__init__.py", line 23, in <module> from kafka.producer import KafkaProducer File "/usr/loca....
20 Янв 2021 в 15:21
Используя существующий рабочий пример Java, я пытаюсь написать Python-эквивалент производителя, используя библиотеки python-kafka и confluent_kafka. Как мне настроить sasl.jass.config в python с помощью .......
У меня есть следующий потребитель Kafka, он хорошо работает, если присвоить group_id значение None - он получил все исторические сообщения и мое недавно протестированное сообщение. consumer = KafkaConsumer( topic, bootstrap_servers=bootstrap_servers, auto_offset_reset=auto_of....
Я использую kafka-python-2.0.1 для получения данных от брокеров kafka. На данный момент я запускаю один экземпляр потребителя. Мы получаем 2M записей каждые 5 минут. Я заметил, что kafka-python не умеет читать данные, чтобы быстрее потреблять все сообщения своевременно. Я новичок в kafka-python ....
Я пытаюсь прочитать данные из топива kafka, который был сериализован с использованием protobuf от Google. Я скомпилировал прото-файлы, используя protoc, которые сгенерировали файлы pb2. Теперь я пытаюсь использовать faust и создать потоковый процессор, но не могу найти правильный способ использовани....
Как сказано в заголовке, я хочу получить номер записи в своей теме, и я не могу найти решение с использованием библиотеки kafka-python. У кого-нибудь есть идеи?....
7 Окт 2020 в 18:46
Я хочу создавать и использовать тему kafka с помощью простого скрипта Python. Как объяснено в: https://towardsdatascience.com/getting- start-with-apache-kafka-in-python-604b3250aa05 Я создал publish_message и connect_kafka_producer с помощью bootstrap_servers = ['localhost: 9092'] и создал простое....
С помощью административного клиента Python-kafka я знаю, как создавать и удалять темы. Но есть ли способ проверить, существует ли эта тема или нет? Если нет, то только я хотел его создать. Как я могу сделать это в клиенте администратора python -kafka? В документации ничего не увидел.....
18 Авг 2020 в 11:30
Я пытаюсь отправить сообщения с Python потребителю kafka. Но я получаю сообщение об ошибке ERROR Unknown error when running consumer: org.apache.kafka.common.errors.SerializationException: Unknown magic byte! Python правильно получает данные из twitter api, но не может отправлять сообщения потреби....
Ниже приведен мой сценарий использования, в котором одно приложение будет передавать данные в три разные темы кафки (есть уникальный идентификатор приложения), а вывод будет поступать в последующую очередь 4 и очередь 5. Я уже реализовал конвейер, показанный ниже. Единственная проблема, с которой я ....
3 Авг 2020 в 14:16