ぶぽめつせ

0 声望

这家伙太懒,什么都没留下

个人动态
  • 半兽人 回复 ぶぽめつせkafka副本和leader选举 中 :

    已更新。

    3年前
  • 半兽人 回复 ぶぽめつせkafka副本和leader选举 中 :

    感谢提醒,这两天更新一下

    3年前
  • ぶぽめつせ 回复 半兽人kafka副本和leader选举 中 :

    大佬,新版本如果所有副本死了好像改用了第一种策略
    This is a simple tradeoff between availability and consistency. If we wait for replicas in the ISR, then we will remain unavailable as long as those replicas are down. If such replicas were destroyed or their data was lost, then we are permanently down. If, on the other hand, a non-in-sync replica comes back to life and we allow it to become leader, then its log becomes the source of truth even though it is not guaranteed to have every committed message. By default from version 0.11.0.0, Kafka chooses the first strategy and favor waiting for a consistent replica. This behavior can be changed using configuration property unclean.leader.election.enable, to support use cases where uptime is preferable to consistency.

    3年前
  • ぶぽめつせ 回复 半兽人虚拟机CentOS 7下的docker(CentOS 7)内的kafka消费者无法消费到来自windows下Java客户端(IDE)生产者生产的消息 中 :

    我分别在虚拟机和master容器用nc -lk 9092接收数据,用java发消息,都可以收到,路由应该没问题?

        try {
            socket = new Socket("master", 9092);
            String message = "\n你叫搜集的备份节点开发板的百分比时刻的部分看都不看分不开的";
            OutputStream os = socket.getOutputStream();
            os.write(message.getBytes("GBK"));
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                socket.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    
    3年前
  • 赞了 ぶぽめつせkafka效率 的评论!

    文档的Efficiency小节讲述了一个问题:kafka如何设计达到高吞吐量、低延迟?
    kafka消息发送时,
    a) kafka每次写入操作都只是把数据写入到操作系统的页缓存中,由操作系统自己把页缓存中的数据写回磁盘。操作系统页缓存是在内存中分配,消息写入速度非常快。
    b) kafka写入操作采用追加方式,只能在日志文件末尾追加写入新的消息,且不允许修改已写入的消息,而磁盘顺序访问操作速度可与内存的随即访问相媲美。
    kafka消费端消费时,kafka在读取消息时会首先尝试从OS的页缓存中读取,如果命中便把消息经页缓存直接发送到网络的socket上。
    概括的讲,
    a) 大量使用操作系统页缓存,内存操作速度快且命中率高
    b) Kafka不直接参与物理I/O操作,而是交由最擅长此事的操作系统来完成
    c) 采用追加写入方式,摒弃了缓慢地磁盘随机读/写操作
    d) 使用以sendfile为代表的零拷贝技术加强网络间的数据传输效率
    ————摘自《Apache kafka实战》

    3年前
  • 赞了 ぶぽめつせkafka入门介绍 的评论!
    比如kafka某个主题中有10条消息,A组有成员A1、A2、A3,B组里面有B1、B2、B3。那么A组和B组都会获取到相同的10条消息。
    组A的3个成员平分这10条消息,组B同理。如果不想重复,那么就把消费者设置为同一个组。
    3年前
  • 赞了 ぶぽめつせkafka入门介绍 的评论!

    “还有非常多的其它编程语言的客户端。”这个链接协议https多了一个s

    3年前
  • 赞了 ぶぽめつせkafka中文教程 的评论!

    快夸我。

    3年前
  • 订阅了 kafka 主题! · 3年前