kafka connector 一段时间后不发送消息

一如乞人不需要形象 发表于: 2021-08-13   最后更新时间: 2021-08-13 10:33:44   929 游览

1、kafka connector 数据源有数据，但一会之后就一直打下面的logger，topic里也没有新数据了

210813-022406.201 [INFO ] Committing offsets (WorkerSourceTask:424)
210813-022406.201 [INFO ] flushing 0 outstanding messages for offset commit (WorkerSourceTask:441)

2、版本2.5，配置:

"producer.override.batch.size":"8000000",
"producer.override.linger.ms":"50",
"producer.override.acks":1,
"producer.override.buffer.memory":335544320
kafka
发表于 2021-08-13
一如乞人不需要形象

我使用Kafka connector 采集jdbc d的数据时有类似的问题，发生的原因是我使用的增量更新的时间戳模式，Kafka connector存储的时间戳已经是最大了，不会查询比他更小的数据造成的。

回复
回答于 2年前
光年

什么意思，可否详细点？ 谢谢

0 0 回复

个人认为是一段时间后，source miner 数据的线程挂了，导致没有数据，所以一直flushing 0 outstanding messages

回复
回答于 2年前
一如乞人不需要形象

这句日志info级别的，很难判断额。
更像是完成。

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。