V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
BrightLiao
V2EX  ›  推广

数据开发中如何进行复用?

  •  
  •   BrightLiao · 2023-01-10 09:18:33 +08:00 · 1307 次点击
    这是一个创建于 472 天前的主题,其中的信息可能已经有所发展或是发生改变。

    比如计算空调销量,常常会考虑订单的状态,产品的范围等因素。

    在实现时,一般需要根据这些条件做数据过滤,选出来需要做计算的数据。大家常常将这类数据过滤逻辑称作取数逻辑。相同的取数逻辑常常会在很多其他指标计算中使用。如何复用就成为了一个问题。

    在一般的功能性软件开发中,可以通过代码复用来解决这个问题(比如抽象一个公共的模块)。在数据开发中,除了代码复用,还需要考虑计算复用,因为很多大数据量的计算是比较消耗资源的。

    先给出我们项目中的一些思考:

    数据开发中的复用

    点这里查看全文: https://brightliao.com/#/NDE2MzJj

    大家是如何进行复用的呢?还有没有其他的复用方式?

    6 条回复    2023-01-10 20:31:57 +08:00
    miniliuke
        1
    miniliuke  
       2023-01-10 09:30:21 +08:00
    dbt
    dqzcwxb
        2
    dqzcwxb  
       2023-01-10 09:36:29 +08:00   ❤️ 1
    @Livid 疑似引流推广
    4ark
        3
    4ark  
       2023-01-10 09:38:15 +08:00 via iPhone
    @dqzcwxb 只是分享文章而已,很常见
    BrightLiao
        4
    BrightLiao  
    OP
       2023-01-10 09:40:54 +08:00
    @dqzcwxb 哈哈,给大家分享一下个人的思考,也想听听大家的经验啊!
    BrightLiao
        5
    BrightLiao  
    OP
       2023-01-10 09:42:16 +08:00
    @miniliuke 嗯,dbt 不错,我们项目做得比较早,自己搞了一个类似 dbt 的框架,现在开源了 https://github.com/easysql/easy_sql
    Livid
        6
    Livid  
    MOD
       2023-01-10 20:31:57 +08:00
    @dqzcwxb 这个主题已经被移动到 /go/promotions
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1320 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:54 · PVG 01:54 · LAX 10:54 · JFK 13:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.