Kafka connect 如何确保消息发送成功和顺序的?

一如乞人不需要形象 发表于: 2020-06-17   最后更新时间: 2020-06-17  

大佬我又来请教你了。。

  1. kafka会每次poll,都会调用 conenctor 里的task类来拉去数据到指定topic,他是如何保证10条数据都会提交到指定topic的?就是中间会不会有一两条丢失?
  2. kafka 调用task poll的时间可以设置吗?

谢谢大佬



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka1.1.1集群运行出现org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = -720899)?
下一条: 通过命令:./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test001获取主题当前偏移量信息时报错:java.io.EOFException

  • 1、task=消费者,每个消费着消费1个或多个topic的分区,同步到你指定的topic中,中途如果是强杀,非正常关闭,会丢消息。
    2、时间不要调整,没有用,这个poll时间是指,当topic分区中,没有消息了,多长时间去拉一次的间隔时间,如果持续有消息,就不会有间隔,将持续拉取。

    • 我表述错了,我是指kafka 连接器里task类的poll, 不是需要return一个List,每次kafka 会都会调用poll来拉去源数据到指定topic,是如何保证中间没有丢失的? 以及poll的间隔?

      既然提到消费者里的poll, poll(duration)里跟的时间参数,是用于最多duration时间内返回结果吧?