关于kafka connect实现数据同步实现多表合并

知觉 发表于: 2021-11-17   最后更新时间: 2021-11-17 14:30:39   102 游览

目前有个合并不同mysql源表为宽表,并持续同步到另一个目标源场景,当前采用了kafka connect实现,主表的sourceConnect使用插入或更新的方式同步,其余从表使用更新的方式完成,目前问题是,当我从表使用增量更新,如何解决从表数据比主表数据早到,导致早到的从表数据无法更新到目标表中



发表于 2021-11-17
添加评论

这个顺序问题,对kafka应该是无解的。
即便是自己在业务层写逻辑,我也很难想到该怎么处理。

知觉 -> 半兽人 13天前

目前能想到的办法只有,每次全量获取从表数据,但是这样操作会带来很大的数据库压力,效率也比增量低,但是不这样做,感觉不知道如何下手

半兽人 -> 知觉 13天前

是的,你这2个要建立耦合关系才行,比如A完成到某个点,去触发B,B到了某个点就停止,等待下次唤醒。

你的答案

查看kafka相关的其他问题或提一个您自己的问题
提问