• 请不要在回答技术问题时复制粘贴 AI 生成的内容
code2019
V2EX  ›  程序员

想请教一下大家 Spark 作业工程是怎么编排的呀

  •  
  •   code2019 · Sep 20, 2019 · 2424 views
    This topic created in 2438 days ago, the information mentioned may be changed or developed.

    有很多不同类型、不同指标的 Spark 作业

    1. 是每个指标一个项目,打成一个独立的 jar 包,名字也独立的。但是一个项目中模块太多了,太难组织了吧

    2. 还是一个大的工程放所有的作业,打成一个 jar 包然后再执行作业的时候指定不同的 class 呢?但是这就有一个问题,同一个 jar 包的名字肯定相同,那服务器上要怎么管理这些文件呢?如果同一个文件名,替换 jar 包又可能会影响正在作业的服务?

    4 replies    2019-09-20 10:53:06 +08:00
    scalaer
        1
    scalaer  
       Sep 20, 2019
    独立的 jar 为什么难组织? 优化下 CI /CD
    knightdf
        2
    knightdf  
       Sep 20, 2019
    jar 包带版本号?
    myhot21
        3
    myhot21  
       Sep 20, 2019 via Android
    我是相关的作业任务都打在同一个 jar,启动时报告不同的 class,管理上还是非常方便的。
    rotciv
        4
    rotciv  
       Sep 20, 2019
    给每个作业指定一个独立的路径来存放 jar 包
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3057 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 03:07 · PVG 11:07 · LAX 20:07 · JFK 23:07
    ♥ Do have faith in what you're doing.