关于kafka connect实现数据同步实现多表合并

知觉 发表于: 2021-11-17   最后更新时间: 2021-11-17 14:30:39   1,094 游览

目前有个合并不同mysql源表为宽表，并持续同步到另一个目标源场景，当前采用了kafka connect实现，主表的sourceConnect使用插入或更新的方式同步，其余从表使用更新的方式完成，目前问题是，当我从表使用增量更新，如何解决从表数据比主表数据早到，导致早到的从表数据无法更新到目标表中

kafka
发表于 2021-11-17
知觉
添加评论

这个顺序问题，对kafka应该是无解的。
即便是自己在业务层写逻辑，我也很难想到该怎么处理。

回复
回答于 2年前
半兽人
知觉 -> 半兽人 2年前

目前能想到的办法只有，每次全量获取从表数据，但是这样操作会带来很大的数据库压力，效率也比增量低，但是不这样做，感觉不知道如何下手

0 0 回复
半兽人 -> 知觉 2年前

是的，你这2个要建立耦合关系才行，比如A完成到某个点，去触发B，B到了某个点就停止，等待下次唤醒。

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。