V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lllllliu
V2EX  ›  问与答

问一个关于深度学习训练任务&资源分配的问题

  •  
  •   lllllliu · 2021-01-13 16:05:59 +08:00 · 1063 次点击
    这是一个创建于 1439 天前的主题,其中的信息可能已经有所发展或是发生改变。

    被迫研究深度学习,在一台服务器上跑自己的几个模型训练。 现在管理的方式是 ide 远程提交脚本,ssh 上去开个 screen 跑,过会儿再过来看。同时会跑两三个不同模型的训练。 问:是否有可以管理 python&tensorflow 训练任务的开源平台呢?最好是脚本提交的,那种可视化的好像没啥用。。。 emmm 可以支持分布式调度的最好。。目前一台服务器有点顶不住

    4 条回复    2021-01-13 16:31:06 +08:00
    xjx0524
        1
    xjx0524  
       2021-01-13 16:16:29 +08:00   ❤️ 2
    kubeflow?
    northisland
        2
    northisland  
       2021-01-13 16:28:40 +08:00   ❤️ 1
    见过顶级大神,自己介绍巅峰时,一天只做 10 个实验,炼 10 个丹。
    第 2 天看整理结果和思路。

    不是很复杂,screen 或者 tmux 窗口编上号。

    复杂点,就搞个 rabbitmq + [任务队列 或者 pika]。执行脚本扔 mq 里,自动调度练丹顺序。
    lllllliu
        3
    lllllliu  
    OP
       2021-01-13 16:30:06 +08:00
    @xjx0524 有一丢丢复杂看起来。。想给大家用,就是大家写好 py 直接提交下,能监控运行状态和输出就好了。
    lllllliu
        4
    lllllliu  
    OP
       2021-01-13 16:31:06 +08:00
    @northisland 这个可以有
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2770 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 09:30 · PVG 17:30 · LAX 01:30 · JFK 04:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.