分享个在内存中运行能完成 Mysql 和 MongoDB 直接 Join 结果还能直接写到 execl 的 SQL 的脚本工具

[sujin190]

• 直接在本地运行 MySQL 语法结构的 SQL 的执行引擎
• 只使用简单查询从常用 MySQL 、MongoDB 、PostgreSQL 、sqlserver 、elasticsearch 、influxdb 、clickhouse 、sqlite 数据库加载数据及读取 execl 、csv 、json 和普通文本文件后
• 在内存中完成 join 和聚合运算，单条 SQL 的执行结果可以临时保存在内存中以便作为后续 SQL 的输入表继续处理
• 并且 INSERT INTO 语句执行指定”仅插入 I“、”存在更新否则插入 UI“、”存在更新否则插入其余删除 UDI“、”删除后插入 DI“四种合并数据模式
• 针对大数据量也可以分批执行。

整个程序共有两个项目组成，其中

https://github.com/snower/syncany-sql 负责解析 SQL

https://github.com/snower/syncany 负责执行

主要就是一直 MySQL 和 MongoDB 混用，又各种毛毛多的统计导出需求烦死，所以搞了点脚本慢慢变成这样了，项目不复杂用 crontab 来执行脚本同步数据然后配合 superset 搞个图表还是可以省不少事的，能省一点事省一点吧