造成OOM的主要原因是调整了系统默认的最大数
,比如:message.max.bytes
,socket.request.max.bytes
等。
更多参考:Kafka Broker配置,搜索关键字max
。
所以相应的JVM也要增加。你出现oom,还要继续加大,说明没有满足阈值。
五台cluster其中一台挂了,整个集群就不work了,很可能造成这个原因是存储消费者offset的topic是单副本,通过以下命令查询:
bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __consumer_offsets --describe
如果是单副本,扩容该主题即可。
能具体点么?小白不懂linux.
请问下大佬,生效是producer.
或者consumer.
(原生配置生效吗)? 加override的作用是什么 ?我看了官网的解释,但不太明白,我的没有生效。
https://docs.confluent.io/platform/current/connect/references/allconfigs.html#override-the-worker-configuration
在connect-distributed.properties
中配置:
producer.max.request.size=10485760
不带override
。
结论:max.request.size=104857600
是connector内部topic的prodcuer的配置.producer.max.request.size=104857600
是connector source record 的prodcuer的配置.
在connect-distributed.properties
中配置,如下:
producer.max.request.size=15728640
可以,类似于这样
KAFKA_OPTS=-Xmx4096M kafka-consumer-perf-test.sh --broker-list localhost:9092 --messages 100 --topic DCS-ORACLE-CDC-HF3WD -timeout 300000