1. Kafka普通消费和顺序消费的区别?以及应用场景? 2. producer和consumer分别什么时候需要用group?相比不用有哪些优势? 3. broker的应用场景?相比不用有哪些优势?

面朝大海,春暖花开 发表于: 2020-12-21   最后更新时间: 2020-12-21 17:38:11   1,088 游览
  1. Kafka普通消费和顺序消费的区别?以及应用场景?
  2. producer和consumer分别什么时候需要用group?相比不用有哪些优势?
  3. broker的应用场景?相比不用有哪些优势?
发表于 2020-12-21
添加评论

1、例如,邮件通知没有先后顺序,所以先消费谁都可以。先后顺序的业务比如手机充值,先扣款成功,在进行充值话费,所以顺序必须要保障。
2、producer没有group,它只需要将消息发送到指定的topic即可(和分区)。consumer消费者组是通过进程池瓜分消息并处理消息。这些进程可以在同一台机器运行,也可分布到多台机器上,以增加可扩展性和容错性,相同group.id的消费者将视为同一个消费者组。
3、broker = 单个kafka节点,不用指的是什么?

broker也就是完整的Kafka应用程序吗?比如一台服务器两个broker,分别broker-id:1和broker-id。还是说Kafka下的配置?

你上面打错了吧。
broker-id:1broker-id:2的话是2个单独的kafka节点。

broker是kafka节点的别名。

# -> 半兽人 3年前

我想问一下,一个消费者消费完每一条数据都发送另一个topics,它消费topic的分区数 需要和他发送topics的分区数一样吗,如果数据量很大前者比后者的分区数多 会有影响吗?

半兽人 -> # 3年前

不需要一样,没有关联,kafka的吞吐非常高,kafka的能力接近你物理的带宽和io能力。

# -> 半兽人 3年前

现在遇到一个问题,我们服务每次消费完数据后重新发送新的topic,平时从接收到发送只需要耗时1ms,但是高峰期的时候就会出现有的节点发送偶尔耗时300多ms,导致kafka发送超时并且堆积,这个问题可以帮我分析一下吗

半兽人 -> # 3年前

新提个问题吧,把你kafka集群环境描述一下(包含topic和分区数副本数等),逻辑。

你的答案

查看kafka相关的其他问题或提一个您自己的问题