61 lines
2.1 KiB
Plaintext
61 lines
2.1 KiB
Plaintext
### python Kafka 客户端
|
||
|
||
Kafka 的 python 客户端可以参考文档 [kafka client](https://cwiki.apache.org/confluence/display/KAFKA/Clients#Clients-Python)。推荐使用 [confluent-kafka-python](https://github.com/confluentinc/confluent-kafka-python) 和 [kafka-python](http://github.com/dpkp/kafka-python)。以下示例以 [kafka-python](http://github.com/dpkp/kafka-python) 为例。
|
||
|
||
### 从 Kafka 消费数据
|
||
|
||
Kafka 客户端采用 pull 的方式从 Kafka 消费数据，可以采用单条消费的方式或批量消费的方式读取数据。使用 [kafka-python](http://github.com/dpkp/kafka-python) 客户端单条消费数据的示例如下：
|
||
|
||
```
|
||
from kafka import KafkaConsumer
|
||
consumer = KafkaConsumer('my_favorite_topic')
|
||
for msg in consumer:
|
||
print (msg)
|
||
```
|
||
|
||
单条消费的方式在数据流量大的情况下往往存在性能瓶颈，导致 Kafka 消息积压，更推荐使用批量消费的方式消费数据。使用 [kafka-python](http://github.com/dpkp/kafka-python) 客户端批量消费数据的示例如下：
|
||
|
||
```
|
||
from kafka import KafkaConsumer
|
||
consumer = KafkaConsumer('my_favorite_topic')
|
||
while True:
|
||
msgs = consumer.poll(timeout_ms=500, max_records=1000)
|
||
if msgs:
|
||
print (msgs)
|
||
```
|
||
|
||
### Python 多线程
|
||
|
||
为了提高数据写入效率，通常采用多线程的方式写入数据，可以使用 python 线程池 ThreadPoolExecutor 实现多线程。示例代码如下：
|
||
|
||
```
|
||
from concurrent.futures import ThreadPoolExecutor, Future
|
||
pool = ThreadPoolExecutor(max_workers=10)
|
||
pool.submit(...)
|
||
```
|
||
|
||
### Python 多进程
|
||
|
||
单个python进程不能充分发挥多核 CPU 的性能，有时候我们会选择多进程的方式。在多进程的情况下，需要注意，Kafka Consumer 的数量应该小于等于 Kafka Topic Partition 数量。Python 多进程示例代码如下：
|
||
|
||
```
|
||
from multiprocessing import Process
|
||
|
||
ps = []
|
||
for i in range(5):
|
||
p = Process(target=Consumer().consume())
|
||
p.start()
|
||
ps.append(p)
|
||
|
||
for p in ps:
|
||
p.join()
|
||
```
|
||
|
||
除了 Python 内置的多线程和多进程方式，还可以通过第三方库 gunicorn 实现并发。
|
||
|
||
### 完整示例
|
||
|
||
```py
|
||
{{#include docs/examples/python/kafka_example.py}}
|
||
```
|