Merge pull request #27306 from taosdata/docs/kafka-config-3.0
add kafka config propose
This commit is contained in:
commit
ae16b3b98f
|
@ -27,7 +27,7 @@ TDengine Source Connector 用于把数据实时地从 TDengine 读出来发送
|
|||
|
||||
## 安装 Kafka
|
||||
|
||||
在任意目录下执行:
|
||||
- 在任意目录下执行:
|
||||
|
||||
```shell
|
||||
curl -O https://downloads.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz
|
||||
|
@ -35,13 +35,12 @@ tar xzf kafka_2.13-3.4.0.tgz -C /opt/
|
|||
ln -s /opt/kafka_2.13-3.4.0 /opt/kafka
|
||||
```
|
||||
|
||||
然后需要把 `$KAFKA_HOME/bin` 目录加入 PATH。
|
||||
- 然后需要把 `$KAFKA_HOME/bin` 目录加入 PATH。
|
||||
|
||||
```title=".profile"
|
||||
export KAFKA_HOME=/opt/kafka
|
||||
export PATH=$PATH:$KAFKA_HOME/bin
|
||||
```
|
||||
|
||||
以上脚本可以追加到当前用户的 profile 文件(~/.profile 或 ~/.bash_profile)
|
||||
|
||||
## 安装 TDengine Connector 插件
|
||||
|
@ -325,6 +324,21 @@ curl -X DELETE http://localhost:8083/connectors/TDengineSinkConnector
|
|||
curl -X DELETE http://localhost:8083/connectors/TDengineSourceConnector
|
||||
```
|
||||
|
||||
### 性能调优
|
||||
|
||||
如果在从 TDengine 同步数据到 Kafka 的过程中发现性能不达预期,可以尝试使用如下参数提升 Kafka 的写入吞吐量。
|
||||
|
||||
1. 打开 KAFKA_HOME/config/producer.properties 配置文件。
|
||||
2. 参数说明及配置建议如下:
|
||||
| **参数** | **参数说明** | **设置建议** |
|
||||
| --------| --------------------------------- | -------------- |
|
||||
| producer.type | 此参数用于设置消息的发送方式,默认值为 `sync` 表示同步发送,`async` 表示异步发送。采用异步发送能够提升消息发送的吞吐量。 | async |
|
||||
| request.required.acks | 参数用于配置生产者发送消息后需要等待的确认数量。当设置为1时,表示只要领导者副本成功写入消息就会给生产者发送确认,而无需等待集群中的其他副本写入成功。这种设置可以在一定程度上保证消息的可靠性,同时也能保证一定的吞吐量。因为不需要等待所有副本都写入成功,所以可以减少生产者的等待时间,提高发送消息的效率。|1|
|
||||
| max.request.size| 该参数决定了生产者在一次请求中可以发送的最大数据量。其默认值为 1048576,也就是 1M。如果设置得太小,可能会导致频繁的网络请求,降低吞吐量。如果设置得太大,可能会导致内存占用过高,或者在网络状况不佳时增加请求失败的概率。建议设置为 100M。|104857600|
|
||||
|batch.size| 此参数用于设定 batch 的大小,默认值为 16384,即 16KB。在消息发送过程中,发送到 Kafka 缓冲区中的消息会被划分成一个个的 batch。故而减小 batch 大小有助于降低消息延迟,而增大 batch 大小则有利于提升吞吐量,可根据实际的数据量大小进行合理配置。可根据实际情况进行调整,建议设置为 512K。|524288|
|
||||
| buffer.memory| 此参数用于设置生产者缓冲待发送消息的内存总量。较大的缓冲区可以允许生产者积累更多的消息后批量发送,提高吞吐量,但也会增加延迟和内存使用。可根据机器资源来配置,建议配置为 1G。|1073741824|
|
||||
|
||||
|
||||
## 配置参考
|
||||
|
||||
### 通用配置
|
||||
|
|
Loading…
Reference in New Issue