kafka connector 一段时间后不发送消息

一如乞人不需要形象 发表于: 2021-08-13   最后更新时间: 2021-08-13 10:33:44   915 游览

1、kafka connector 数据源有数据,但一会之后就一直打下面的logger,topic里也没有新数据了

210813-022406.201 [INFO ] Committing offsets (WorkerSourceTask:424)
210813-022406.201 [INFO ] flushing 0 outstanding messages for offset commit (WorkerSourceTask:441)

2、版本2.5,配置:

"producer.override.batch.size":"8000000",
"producer.override.linger.ms":"50",
"producer.override.acks":1,
"producer.override.buffer.memory":335544320
发表于 2021-08-13

我使用Kafka connector 采集jdbc d的数据时有类似的问题,发生的原因是我使用的增量更新的时间戳模式,Kafka connector存储的时间戳已经是最大了,不会查询比他更小的数据造成的。

什么意思,可否详细点? 谢谢

个人认为是一段时间后,source miner 数据的线程挂了,导致没有数据,所以一直flushing 0 outstanding messages

这句日志info级别的,很难判断额。
更像是完成。

你的答案

查看kafka相关的其他问题或提一个您自己的问题