V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
leeg810312
V2EX  ›  编程

有熟 Spark 大佬么? Spark 分析逻辑怎么验证正确性?

  •  
  •   leeg810312 · 2019-04-26 20:32:14 +08:00 via Android · 3744 次点击
    这是一个创建于 1798 天前的主题,其中的信息可能已经有所发展或是发生改变。

    第一次做大数据项目,用 Spark 写分析代码,现在客户要我们证明运算逻辑没有问题,海量数据要怎么验证啊?

    3 条回复    2019-04-27 23:42:54 +08:00
    yangxin0
        1
    yangxin0  
       2019-04-26 21:43:34 +08:00
    设计一个 FakeSpark 主要用作测试, 基于每个 action 做单元测试, 标记好输入和输出.
    yangxin0
        2
    yangxin0  
       2019-04-26 21:45:02 +08:00
    话说, 你设计的时候没有考虑到测试么?
    leeg810312
        3
    leeg810312  
    OP
       2019-04-27 23:42:54 +08:00 via Android
    @yangxin0 第一次做 Spark,用 Scala 写的,FakeSpark 的意思是做一个工具生成测试数据吗?另外一般单元测试是不能有外部依赖的,那么 Spark 的单元测试是要将所有的测试数据硬编码在单元测试代码里吗?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   942 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 20:55 · PVG 04:55 · LAX 13:55 · JFK 16:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.