V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
lien321
V2EX  ›  分享创造

[自研开源] MyData v0.7.2 更新日志

  •  
  •   lien321 · 237 天前 · 1122 次点击
    这是一个创建于 237 天前的主题,其中的信息可能已经有所发展或是发生改变。

    开源地址:gitee | github

    详细介绍:MyData 基于 Web API 的数据集成平台

    部署文档:用 Docker 部署 MyData

    使用手册:MyData 使用手册

    试用体验:http://demo.mydata.work

    交流 Q 群:430089673

    v0.7.2 更新说明

    完善数据集成场景:支持环境变量的定时更新、跨环境数据集成、任务跨环境复制;

    新功能

    • 项目管理 / 集成管理

      • 增加变量任务管理,实现定时从接口更新变量值;

      • 任务支持跨环境同步数据,支持多环境的数据集成,同时业务数据按环境隔离;

      • 复制任务 到其他环境,简化重复配置操作;

    优化

    • 升级后端 SpringBlade 框架版本;

      • 去掉框架示例功能;
    • 升级前端 Sword 框架版本;

      • 去掉框架示例功能;

    功能

    mydata_funtion_v0.7.0

    7 条回复    2024-03-19 10:36:19 +08:00
    coolair
        1
    coolair  
       237 天前
    需要用户验证的 API 怎么办?
    lien321
        2
    lien321  
    OP
       237 天前
    @coolair 你好,如果用户验证采用的是 Web Token 可通过 环境变量 实现,操作过程如下:
    1. 配置环境变量的定时任务,从用户验证的 API 获取 token 并存入环境变量,以便重复使用;
    2. 调用数据 API 时 可通过配置 header 或 param 传递环境变量;

    如果不满足您的使用场景 期待进一步的交流
    coolair
        3
    coolair  
       237 天前
    有没有办法对获取的数据添加后置处理函数?
    比如:获取到了数据'aaaaa',但是要的值是 base64 编码后的。
    lien321
        4
    lien321  
    OP
       237 天前
    @coolair 目前 0.7 版本还不支持,有增加对数据的编码、加密、脱敏等通用处理的开发计划,后续会实现
    boycem
        5
    boycem  
       237 天前
    拉取数据是分批还是一次性?
    lien321
        6
    lien321  
    OP
       237 天前
    @boycem 你好,数据是分批还是一次性主要取决于 API 能否通过参数支持分批,再通过任务配置实现分批调度;
    例如:API 能返回类似分页结果的数据,可以将其保存到环境变量,并配置到请求参数中,任务每次调用 API 并发送参数 实现分批查询,再将新的分页结果覆盖环境变量值;
    lien321
        7
    lien321  
    OP
       231 天前
    @boycem 你好,十分感谢之前的留言!
    关于分批拉取数据 经过考虑计划后续版本中 在定时任务上增加批量参数的配置 实现自动批量拉取,简化之前的方案。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1664 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 16:46 · PVG 00:46 · LAX 08:46 · JFK 11:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.