V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
paulguo
V2EX  ›  Apple

请教关于新款 MacBook Pro M2 Max 的配置问题,用于大模型训练

  •  
  •   paulguo · 2023-03-30 10:14:10 +08:00 · 4848 次点击
    这是一个创建于 588 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请教下各位 V 友,新款 MacBook Pro 14inch ,M 2 Max ( 12 核 CPU 、30 核 GPU 、16 核 NPU )+32G 内存+1TB 固态硬盘的配置,普通编程+本地大模型训练、学习、研究的需求够用吗?是否还需要升级配置到 38 核 GPU ?或者更大的内存?

    https://www.apple.com/shop/buy-mac/macbook-pro/14-inch-space-gray-apple-m2-max-with-12-core-cpu-and-30-core-gpu-1tb#

    20 条回复    2023-03-31 20:45:49 +08:00
    liprais
        1
    liprais  
       2023-03-30 10:21:41 +08:00
    32g 大概只能用到 11g 给 gpu,玩大模型老老实实 4090
    zhaidoudou123
        2
    zhaidoudou123  
       2023-03-30 10:37:52 +08:00
    没 CUDA 真能用吗?
    JoshuaBen
        3
    JoshuaBen  
       2023-03-30 10:44:39 +08:00
    大模型老老实实上超算集群。。
    WenjieYe
        4
    WenjieYe  
       2023-03-30 10:57:43 +08:00   ❤️ 6
    笑死 拿笔记本训大模型,还是 MacBook……
    Tearia
        5
    Tearia  
       2023-03-30 10:59:02 +08:00   ❤️ 1
    能问出这个问题的 真的入门了深度学习了吗? 开源代码都是 cuda ,难道你还全部改一遍 然后本地跑个几天几夜? 有这钱直接找个算力平台冲了就完了。
    chendy
        6
    chendy  
       2023-03-30 11:01:10 +08:00
    专业的事情交给专业工具
    mac 这方面专业不对口
    lrigi
        7
    lrigi  
       2023-03-30 11:01:22 +08:00 via iPhone
    @liprais 4090 的 24G 显存捉襟见肘,模型一大根本放不进去。我反倒觉得 MacBook64GB/96GB 内存倒是一个很好的选择,虽然只有目前的卡几分之一的性能,但是显存堪比 A100 。为什么 32G 只能给 11GB 到 GPU ,这是系统的限制吗?我看人家 8GB 内存的 m2mini 甚至都可以跑不止 8G 显存的模型?也许是我记错了?我最近也想买 64G 的跑 llama
    Philippa
        8
    Philippa  
       2023-03-30 11:01:47 +08:00   ❤️ 1
    别闹了,11g 也就勉强跑跑 512 x 512 ,4k 图生成的 4090 占到 19g 的显存。
    Philippa
        9
    Philippa  
       2023-03-30 11:02:44 +08:00
    就算是用 cpu ,pc 的 128g 不香嘛
    Juszoe
        10
    Juszoe  
       2023-03-30 11:17:24 +08:00
    槽点有点多,玩大模型,单机 8 卡已经是低配中的低配了,更何况 mac 还没 cuda
    zeusho871
        11
    zeusho871  
       2023-03-30 12:20:15 +08:00 via Android
    我倒是🈶64g 的 m1 ,怎么测,可以帮你看看
    FozillaMox
        12
    FozillaMox  
       2023-03-30 12:42:42 +08:00 via iPhone
    你有这个钱还是组一台好点的台式吧。
    monkeykk
        13
    monkeykk  
       2023-03-30 16:45:13 +08:00
    本地编程无压力,大模型训练免了
    neopenx
        14
    neopenx  
       2023-03-30 18:51:44 +08:00
    M2 Max 的 training 算力等价于 3060 。洗洗睡吧。还不如买块 4090
    maxmak
        15
    maxmak  
       2023-03-30 21:14:50 +08:00
    M1 Max 24H 64G 跑 chatglm-6b 内存直接爆红了,计算速度好慢,已经换成 GPU 跑了
    我觉得 M2 Max 也好不了多少
    ddvswgg
        16
    ddvswgg  
       2023-03-30 22:18:37 +08:00 via iPhone
    我建议 Colab
    AOK123
        17
    AOK123  
       2023-03-31 07:06:16 +08:00   ❤️ 1
    大模型不都是几百张 A100 起吗。。。

    小模型你这 3000 刀配个 4090 台式直接秒杀顶配 Mac Studio
    ShadowPower
        18
    ShadowPower  
       2023-03-31 10:40:41 +08:00   ❤️ 1
    本地大模型训练不太行。最前沿的那些东西其实只支持 NVIDIA 显卡,不用 NVIDIA 显卡就是完全跑不起来或者各种报错。

    Pytorch 的 MPS 后端还缺少很多算子,实际上不少是 fallback 到 CPU 跑的。而且还有很多代码实现里,内存布局之类的细节只对 NVIDIA 显卡友好,在 Apple Silicon 上还得多做一些转换工作,额外吃了不少显存(内存)和性能。
    bleaker
        19
    bleaker  
       2023-03-31 11:33:33 +08:00
    https://github.com/apple/ml-ane-transformers Apple 最近的确做了一些工作
    neopenx
        20
    neopenx  
       2023-03-31 20:45:49 +08:00   ❤️ 1
    @bleaker ANE 只能跑推理。训练要在 GPU 上跑 Metal/MPS 。搞笑的是 GPU 的 FP32/FP16 算力只有 Ultra 上才能超过 ANE 的 FP16 算力。所以用 AppleSilicon 做训练就是来搞笑的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2928 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 14:46 · PVG 22:46 · LAX 06:46 · JFK 09:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.