hello! 2013~

0 声望

这家伙太懒，什么都没留下

个人动态
  • 半兽人 回复 hello! 2013~ 在 kafka中文教程 中 ：

    处理时间超过十几分钟...

    1. 不同的处理时间分到不同的topic中
    2. kafka支持动态控制消费流量，分别在future的poll(long)中使用pause(Collection) 和 resume(Collection) 来暂停消费指定分配的分区，重新开始消费指定暂停的分区。
    4年前
  • hello! 2013~ 回复 半兽人 在 kafka中文教程 中 ：

    我们最近一个项目在生产kafka消息时由于业务原因导致消息大小差距较大（有些消息处理是ms级有些是十几分钟）。
    由于处理时间大于回话超时时间会导致kafka认为消费挂掉，因此调整了最大超时时间（session.timeout.ms设为30min），导致重新分配时间很长。
    网上有部分推荐的方法是拉取消息和处理消息放2个进程，暂且不考虑内存溢出的问题，将消息放队列里由其他进程作处理，是否可理解为拿内存作为缓冲区？kafka对于此类消息处理是否有较好的处理机制？

    4年前