Vampire

0 声望

这家伙太懒,什么都没留下

个人动态
  • 贬了 VampireKafka Connect的用法 的评论!

    logstash.

    4年前
  • Vampire 回复 Vampirekafka消费者Java客户端 中 :

    我尝试通过掐表验证这个间隔时间,但是时间间隔和这个配置props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG,10000)不是完全符合的,第一次读到55条数据和第二次读到55条数据的时间间隔差不多是10秒,但是第二次读到和第三次读到之间的时间间隔是绝对不止10秒的

    4年前
  • Vampirekafka消费者Java客户端 发表评论:

    手动控制偏移量的demo,我在topic里只放了55条数据,所以等价于offset长时间未提交,读入到buffer的数据为55条,然后在过了一定时间后,消费者会重新读这55条数据,此时buffer就变成110条数据,请问这个时间间隔具体是由哪里控制的,是消费者,还是topic,还是broker,具体是哪个参数,这个机制我是理解的,只是这个情况对我来说还是有问题的,如果确实因为消息处理的很慢,导致消息被重复处理,仍然是不可接受的,请问有什么途径可以完全避免这种情况的发生吗

    4年前
  • 半兽人 回复 Vampirekafka生产者Java客户端 中 :

    到0.9后zk弱化了。向下不兼容了

    4年前
  • Vampire 回复 半兽人kafka生产者Java客户端 中 :

    给我的直观感受就是--zookeeper有毒,使用一次之后,各种命令行工具的运行结果好像都有点问题

    4年前
  • Vampire 回复 半兽人kafka生产者Java客户端 中 :

    我具体说一下,是我通过--bootstrap-server参数创建的topic,通过--bootstrap-server可以查到topic列表,这时我用--zookeeper参数去创建一个topic,然后再查topic列表就查不到了,无论通过--bootstrap-server还是--zookeeper参数,终端也没有报错。。。

    4年前