mysql 数据增量同步

[sxinsuoyu20]

一个内网服务器，一个外网服务器（数据定时采集服务器），现在想把外网服务器的增量数据同步到内网服务器（初始数据和表结构可以导成 sql 到目标库执行），表结构完全相同，可以有一定的延迟，各位 V 友们有什么好的方案和工具吗?原先没研究过，最好有具体的实现方案帖子、视频、或者开源项目，一站式部署，学习成本比较低，免费拿来就可以用最好了！

[fool1024]

https://github.com/alibaba/canal 或者 https://github.com/alibaba/DataX

[chen15798]

seatunnel

[iyiluo]

直接弄个主从，如何开启 mysql 主从，网上一大堆

[Marelbruim]

用 datax 一个脚本的事

[junphe]

楼上都有提到对实时有要求 Mysql 主从就可以了

[sxinsuoyu20]

@fool1024 @Marelbruim 你好，我查了一下感觉也有点懵啊，canal 和 datax 哪个更容易搭建，有什么区别吗？是开源免费的吗？ java 环境可以吗？

[sxinsuoyu20]

@iyiluo @junphe 你好，主从就可以实时复制数据了吗？服务器需要开放 3306 端口吗？可以双主吗？一方数据有变动其他的也会自动同步

[Marelbruim]

@sxinsuoyu20 https://developer.aliyun.com/article/1510627 很简单的 你看看

[hetal]

percona toolkit

[realpg]

innodb cluster
但是坑不少 你得踩踩

[Actrace]

@sxinsuoyu20 双主，或者多主，可以用用 MariaDB 的 Galera 。限制是只能 innoDB 引擎。

[junphe]

@sxinsuoyu20 主从是实时增量，数据结构都可以同步的，从库必须可以链接到主服务，最好给单独开启账号配置服务，你可以在网上搜索相关的资料比较多，只要是数据的配置就可以了

[XyIsMy]

同个类型数据库，搭建主从或双主就可以了

[bootvue]

cloudcanal

[Karte]

@junphe 方案是可以, 但是主从会存在对主库操作延迟. 再加上网络问题等, 可能会影响到主库的正常处理. 建议还是使用类似 CDC 的实现 (Flink, 部署麻烦), DataX.

[kios]

canal 或者 flink-cdc

[junphe]

@Karte 主从实际是对主 Mysql 的 Binlog 读取和传输，受服务器 IO 和网络影响！但是对主库操作延迟，未仔细研究，我觉得应该影响不大。之前有同步过 aliyun 的 mysql 到本地机房，运行良好。如本地断网，等网通后会自动同步，做好延迟监控！

[miniliuke]

debezium+kafaka 或者 flink cdc

[qW7bo2FbzbC0]

@fool1024

请问这两个在数据同步上区别是什么？(看起来 dataX 抽象程度更高，在 MySQL 同步上 dataX 是依赖于 canal 或者内置了 canal 还是自己重新实现了同样的逻辑?)
仅针对于 mysql 数据增量同步这两个更推荐哪个？

[ccloving]

@sxinsuoyu20 可以双主，我有具体的代码，你加我，我发给你

[npe]

DMS

[sxinsuoyu20]

@ccloving 你好，请问你的具体怎么实现的啊，有下载地址吗？怎么添加好友？

[lqw3030]

@qW7bo2FbzbC0
## 同步事件驱动源
dataX：一般由指令触发
canal：由 binlog 订阅事件驱动

## 同步边界
dataX：需要在作业中定义
canal：由 binlog 控制同步边界

所以我理解初次迁移适合用 dataX ，迁移后如果需要持续增量同步则用 canal