V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
Saxton
V2EX  ›  MySQL

有 Alibaba canal-adapter 的替代品吗?

  •  
  •   Saxton · 2021-10-20 13:44:53 +08:00 · 2736 次点击
    这是一个创建于 1131 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前在做 mysql 同步数据到 es,es 负责查询那块,了解到阿里巴巴的 canal 增量同步工具,便使用了自带的 canal-adapter 组件,但发现这个组件的文档已经几百年没更新并且维护人员流失了,很多东西都是我通过阅读源码才得知改了,而且复杂一点的 SQL 就解析不了了,局限性很大

    7 条回复    2021-10-21 13:07:03 +08:00
    ospider
        1
    ospider  
       2021-10-20 14:02:24 +08:00
    前几天刚刚被这个工具坑了,比较简单的同步逻辑还是自己写吧……
    liprais
        2
    liprais  
       2021-10-20 14:04:22 +08:00
    cdc + debezium + kafka 呗
    后面随便玩
    sunshengkai27
        3
    sunshengkai27  
       2021-10-20 15:44:13 +08:00
    canal 自带的 adapter?
    MartinWu
        4
    MartinWu  
       2021-10-20 17:34:06 +08:00
    我们最近刚上 flink cdc connector 这个车。
    bootvue
        5
    bootvue  
       2021-10-20 18:02:26 +08:00
    logstash 插件

    或者阿里粑粑的 datax 都可以写 sql 增量同步
    Geekerstar
        6
    Geekerstar  
       2021-10-20 22:08:12 +08:00
    目前在用这个,坑确实比较多
    starxg
        7
    starxg  
       2021-10-21 13:07:03 +08:00
    canal->kafka->消费者->代码解析->es
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   6029 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 02:27 · PVG 10:27 · LAX 18:27 · JFK 21:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.