雪之源

0 声望

这家伙太懒,什么都没留下

个人动态
  • 半兽人 回复 雪之源为什么kafka开启事务后生产出来的位移offset始终间隔为2,关闭事务后就正常 中 :

    spring的这个不太清楚了,不过事务会很影响性能。

    3年前
  • 雪之源 回复 半兽人为什么kafka开启事务后生产出来的位移offset始终间隔为2,关闭事务后就正常 中 :

    我用jmeter进行了单分区的压力测试,Number of Threads->50、Ramp-up period(in seconds):2、loop count:100。所有的测试在单topic同一分区下进行,得到结果如下,

    offset=16692
    offset=16691
    offset=16693
    offset=16702
    offset=16703
    offset=16705
    offset=16708
    offset=16710
    offset=16711
    offset=16709
    offset=16712
    offset=16713
    offset=16714
    offset=16718
    offset=16719
    offset=16722
    offset=16725
    offset=16726
    offset=16729
    offset=16728
    offset=16727
    offset=16733
    offset=16735
    offset=16737
    offset=16743
    offset=16744
    offset=16745
    offset=16748
    offset=16746
    offset=16747
    offset=16756
    ......
    

    有的如你所说是间隔确实拉大了,但是有的确实连续的。
    另外,当我用非springboot配置的事务去执行kafka时,可以保证offset是连续的。
    代码如下:

    public static void main(String[] args) {
        // Producer 配置信息,应该配置在属性文件中
        Properties props = new Properties();
        //指定要连接的 broker,不需要列出所有的 broker,但建议至少列出2个,以防某个 broker 挂了
        props.put("bootstrap.servers", "10.60.153.252:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("transactional.id", "test.transactional.id"); // 需要设置 transactional.id
        // 创建 Producer
        Producer<string, string=""> producer = new KafkaProducer<string, string="">(props);
        // 初始化事务
        producer.initTransactions();
        try {
            // 开启事务
            producer.beginTransaction();
            for (int i = 0; i &lt; 10; i++) { 
                 // 发送消息 
                 producer.send(new ProducerRecord("wxy_test", "message "+i), new Callback() {
                 public void onCompletion(RecordMetadata metadata, Exception exception) {
                     if(exception != null) {
                         System.out.println("send message i failed with " + exception.getMessage());
                     } else {
                         // offset 是消息在 partition 中的编号,可以根据 offset 检索消息
                         System.out.println("message i sent to " + metadata.topic() + ", partition " + metadata.partition() + ", offset " + metadata.offset());
                     }
                 }
             });
            }
            // 提交事务
            producer.commitTransaction();
        } catch(KafkaException e) {
            // 终止事务
            producer.abortTransaction();
        } finally {
            producer.close();
        }
    }
    

    我是觉得如果真是spring-kafka集成事务导致这个offset间隔2,那就是个bug啊。很容易让人觉得是消息传递不正常。

    3年前
  • 半兽人 回复 雪之源为什么kafka开启事务后生产出来的位移offset始终间隔为2,关闭事务后就正常 中 :

    当你启用producerFactory.setTransactionIdPrefix("trans-");
    在这种情况下,客户端会启用一个生产者缓存,用于确认kafka集群返回的信息。
    我不太清楚springboot提供的kafka客户端是什么机制打印的,我想如果kafka的发送的消息先在缓存中,等待确认,那kafka返回确认的时候,从缓存中踢出(多笔一起踢出),客户端打印的时候,同一时间点,跳过了已经确认过的offset。

    你可以加大发送压力,看看offset间隔是否会扩大。

    最后,kafka发送有同步发送和异步发送,理论上异步发送都是按批次发的,offset也会间隔的更大才是。 你还是得压一下。

    3年前