V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zhugezifang
V2EX  ›  程序员

[开源自荐]开源大数据比对平台—dataCompare

  •  
  •   zhugezifang · 2022-12-16 13:21:46 +08:00 · 864 次点击
    这是一个创建于 667 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近因为工作中繁琐的对数需求,我利用业余时间做了一个对数的平台,目前已经开源

    开源大数据比对平台—dataCompare

    介绍:dataCompare 是一个数据库比对工具:支持 hive 表数据比对,mysql 数据比对,实现自动化配置进行数据比对,避免频繁写 sql 进行处理,后续考虑支持 doris 、ck 等等

    亮点: (1)低代码简单配置完成数据比对核心功能

    (2)数据量级比对、数据一致性比对

    (3)差异 case 发现

    后续规划:

    (1)数据指针探测----枚举值探测、范围探测、数值探测、主键取模探测

    (2)数据比对任务定时自动调度

    (3)对比结果自动发送邮件报告

    项目完全是自己一个人独立开发的,说实话已经很久没写前端了,自从工作之后,都快忘的差不多了,希望大家支持,点个 star ,一键三连

    代码全部开源: https://github.com/zhugezifang/dataCompare

    https://gitee.com/ZhuGeZiFang/data-compare

    说说自己为什么要做开源?

    自从进入 IT 行业,很多人都告诉自己,35 岁就要退休了,没有公司要了,先后也待过几家大厂,包括京东、BAT ,也见过不少优秀的技术人员,一直在思考,难道 35 岁就要没公司要了吗?

    说实话,刚毕业的时候,自己也参与一个 Apache 开源项目,也有幸成为 contributor ,后来无论是在求职还是面试中,都或多或少从其中受益。

    如今自己独立尝试开源,包括开发 (前端已经很久没碰了)、写文档、推广运营

    有人会问,做了这么多有什么用呢?那我来告诉你实际的作用

    (1) 对抗 35 中年危机

    (2) 获取外部主动的求职机会 (某 c 轮公司 ceo 主动发来求职机会)

    (3) 获取授课以及讲课的机会 (被邀请在某知名 IT 教育机构授课)

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2729 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 14:24 · PVG 22:24 · LAX 07:24 · JFK 10:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.