最近在做个实时日志分析的系统,起初方案是filebeat->kafka->flink,计划使用kafkaStream进行一次过滤后再由flink程序处理是否可行?

— 坏小孩 发表于: 2021-03-19   最后更新时间: 2021-03-19 15:42:50   163 游览
0


发表于 1月前

  • 没有做过这样的逻辑, 但应该是可行的, 很好奇flink达到性能瓶颈的原因是啥?

    有了kafkaStream,那flink的功能是不是重复了?

    • 可能是我没表达清楚,因为之前使用的方案flink性能达到瓶颈就采用了filebeat->kafka->java程序过滤->kafka(新topic)->flink的模式,我考虑的是中间java程序这里换成kafka-stream会不会提高点效率,您看这可行吗?

        • 其实kakfa的stream,底层也是基于消费者->生产者的...
          理论上不会有太大改善,你只能通过分区数来提供并发处理的能力,提升效率。

          • 找不到想要的答案?

            我要提问
            相关