Kafka-Python обеспечивает низкоуровневую поддержку протоколов для Apache Kafka, а также высокоуровневые классы потребителей и производителей. Пакетная обработка запросов поддерживается протоколом, а также маршрутизацией запросов с учетом брокера. Сжатие Gzip и Snappy также поддерживается для наборов сообщений.
Есть ли способ создать копию темы kafka с помощью пакета kafka-python? Я пытаюсь создать резервную копию темы перед выполнением нескольких операций с данными.....
4 Фев 2022 в 16:38
Я хочу использовать KafkaConsumer из kafka-python для получения первых N сообщений в теме:
from kafka import KafkaConsumer as kc
import json
bootstrap_servers = ['xx.xxx.xx.xxx:9092']
topic_name = 'my_topic_name'
consumer = kc(topic_name, group_id='group1', bootstrap_servers=bootstrap_servers,
....
26 Окт 2021 в 00:24
Похоже, что зачет не совершается.
Я использую пакет Python kafka. Это мой код
from kafka import KafkaConsumer
consumer = KafkaConsumer(
'quickstart-events',
bootstrap_servers=['localhost:9092'],
auto_offset_reset='earliest',
enable_auto_commit=True,
group_id='my-group',
aut....
25 Окт 2021 в 19:29
Я обнаружил следующую ошибку:
Traceback (most recent call last):
connection = KafkaProducer(kafka_settings['topic'], bootstrap_servers=kafka_settings['bootstrap_servers'])
TypeError: __init__() takes 1 positional argument but 2 were given
Для меня это странно, потому что я следовал предоставленной ....
21 Окт 2021 в 16:39
Я хочу зарегистрировать или распечатать смещение, раздел и тему из сообщения Кафки. Я могу распечатать значение сообщения, но я хочу увидеть, какое смещение и раздел из Kafka с помощью python, чтобы я мог отлаживать свой код.
from kafka import KafkaConsumer
consumer = KafkaConsumer('my-topic',
....
20 Окт 2021 в 14:18
Я хочу вести прямую трансляцию из одной системы в другую.
Я использую kafka-python и могу вести прямую трансляцию локально.
Получается, что разъемы будут работать с несколькими устройствами. Может ли кто-нибудь предложить мне способ использования соединителей для его реализации на Python?....
7 Окт 2021 в 13:30
Я хотел бы создать новую тему kafka с помощью python, и я получаю сообщение об ошибке, когда пытаюсь создать KafkaAdminClient с помощью server="kafka:9092":
self._kafka_admin = KafkaAdminClient(
bootstrap_servers=[server],
api_version=(0, 10, 2),
....
3 Окт 2021 в 18:30
Это может быть связано или не быть связано с Кафкой, но я столкнулся с этим при изучении Кафки. У меня есть скрипт производителя Python, который выглядит так:
from kafka import KafkaProducer
from json import dumps
class Producer:
def __init__(self):
self.connection = KafkaProducer(
....
19 Сен 2021 в 16:34
Мне нужно просто следить за тем, работает ли мой кластер Kafka. Время от времени машины с Kafka выключались. Я хочу отправить оповещение по электронной почте, если кластер недоступен.
Я могу создать производителя и потребителя для периодической отправки и получения фиктивных сообщений. Есть ли бо....
20 Июл 2021 в 02:00
Как я могу добавить схему для сообщения json в aiokafka? Kafka Connect не может работать без него.
import asyncio
import json
import random
import aiokafka
from faker import Faker
def serializer(value):
return json.dumps(value).encode()
async def produce():
fake = Faker(['ru_RU'])
....
12 Июл 2021 в 16:34
У нас есть требование, в котором нам нужно целенаправленно разбалансировать кластер Kafka, назначив распределение трафика для кластера из 3 брокеров, например, 80%, брокеру 1, 15%, брокеру 2, 5%, брокеру 3 и отправить сообщения для тем на брокеры по распределению брокерского трафика.
Чтобы реализов....
12 Июл 2021 в 04:27
Я новичок в мире kafka и пытаюсь сделать следующее для потребителя kafka в python
получить список всех тем о кафках. получить список тем, на которые подписан потребитель. подписывайтесь на новые темы (на которые еще не подписывались).
Примечание. Для этого я могу использовать либо библиотеку conflue....
21 Апр 2021 в 22:27
Я использую python-kafka для прослушивания темы kafka и использования этих записей. Я хочу, чтобы он продолжал опрашивать бесконечно без выхода. Это мой код ниже:
def test():
consumer = KafkaConsumer('abc', 'localhost:9092', auto_offset_reset='earliest')
for msg in consumer:
print(....
8 Фев 2021 в 15:15
Есть ли способ сначала обработать сообщения с высоким приоритетом?
Я попытался создать три темы «высокий», «средний» и «низкий» и подписался на все три темы с одним потребителем, и если в «высокой» теме есть необработанное сообщение, остальные две будут приостановлены. Есть ли лучший способ реализо....
2 Фев 2021 в 10:09
from kafka import KafkaConsumer
import json
import io
if __name__ == '__main__':
# consumer = KafkaConsumer(
# 'ldt_lm_mytable',
# bootstrap_servers = 'localhost:9092',
# auto_offset_reset = 'earliest',
# group_id = 'consumer_group_a')
KAFKA_HOSTS = ['kafka:9092']
KA....
27 Янв 2021 в 16:03
$ docker run 34a24a8a745e
Traceback (most recent call last):
File "//producer.py", line 1, in <module>
from kafka.producer import KafkaProducer
File "/usr/local/lib/python3.9/site-packages/kafka/__init__.py", line 23, in <module>
from kafka.producer import KafkaProducer
File "/usr/loca....
20 Янв 2021 в 15:21
Используя существующий рабочий пример Java, я пытаюсь написать Python-эквивалент производителя, используя библиотеки python-kafka и confluent_kafka. Как мне настроить sasl.jass.config в python с помощью .......
15 Янв 2021 в 05:09
У меня есть следующий потребитель Kafka, он хорошо работает, если присвоить group_id значение None - он получил все исторические сообщения и мое недавно протестированное сообщение.
consumer = KafkaConsumer(
topic,
bootstrap_servers=bootstrap_servers,
auto_offset_reset=auto_of....
7 Ноя 2020 в 03:32
Я использую kafka-python-2.0.1 для получения данных от брокеров kafka. На данный момент я запускаю один экземпляр потребителя. Мы получаем 2M записей каждые 5 минут. Я заметил, что kafka-python не умеет читать данные, чтобы быстрее потреблять все сообщения своевременно. Я новичок в kafka-python ....
6 Ноя 2020 в 05:53
Я пытаюсь прочитать данные из топива kafka, который был сериализован с использованием protobuf от Google.
Я скомпилировал прото-файлы, используя protoc, которые сгенерировали файлы pb2.
Теперь я пытаюсь использовать faust и создать потоковый процессор, но не могу найти правильный способ использовани....
4 Ноя 2020 в 22:41
Как сказано в заголовке, я хочу получить номер записи в своей теме, и я не могу найти решение с использованием библиотеки kafka-python. У кого-нибудь есть идеи?....
7 Окт 2020 в 18:46
Я хочу создавать и использовать тему kafka с помощью простого скрипта Python. Как объяснено в: https://towardsdatascience.com/getting- start-with-apache-kafka-in-python-604b3250aa05 Я создал publish_message и connect_kafka_producer с помощью bootstrap_servers = ['localhost: 9092'] и создал простое....
7 Сен 2020 в 12:42
С помощью административного клиента Python-kafka я знаю, как создавать и удалять темы.
Но есть ли способ проверить, существует ли эта тема или нет? Если нет, то только я хотел его создать. Как я могу сделать это в клиенте администратора python -kafka? В документации ничего не увидел.....
18 Авг 2020 в 11:30
Я пытаюсь отправить сообщения с Python потребителю kafka. Но я получаю сообщение об ошибке ERROR Unknown error when running consumer: org.apache.kafka.common.errors.SerializationException: Unknown magic byte! Python правильно получает данные из twitter api, но не может отправлять сообщения потреби....
14 Авг 2020 в 17:29
Ниже приведен мой сценарий использования, в котором одно приложение будет передавать данные в три разные темы кафки (есть уникальный идентификатор приложения), а вывод будет поступать в последующую очередь 4 и очередь 5. Я уже реализовал конвейер, показанный ниже.
Единственная проблема, с которой я ....
3 Авг 2020 в 14:16
En Español