V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lrigi
V2EX  ›  MacBook Pro

搞 AI 的兄弟们都选的多大的内存? 32 还是 64?

  •  
  •   lrigi · 2023-07-26 12:22:40 +08:00 via iPhone · 8067 次点击
    这是一个创建于 465 天前的主题,其中的信息可能已经有所发展或是发生改变。

    (别都选个 8GB 然后远程

    64 条回复    2023-08-21 00:41:27 +08:00
    swulling
        1
    swulling  
       2023-07-26 12:27:32 +08:00 via iPhone
    搞 AI 用 Macbook 不太行吧。

    MPS 跑跑推理还行,训练什么的行么。
    deplivesb
        2
    deplivesb  
       2023-07-26 12:31:28 +08:00
    搞 ai 用 MacBook ?
    我的 m2 max 64G ,跑 sd 能吃掉 50G 左右的内存,
    训练过一个小小的 cnn ,mac gpu 跑了 70 多个小时,相同的项目,4090 跑了 50 小时左右
    vtemp249
        3
    vtemp249  
       2023-07-26 12:31:59 +08:00
    本地需要堆的不都是显存,管什么内存
    deplivesb
        4
    deplivesb  
       2023-07-26 12:37:07 +08:00
    @vtemp249 Apple silicon 的内存就是显存
    lrigi
        5
    lrigi  
    OP
       2023-07-26 13:50:23 +08:00 via iPhone
    @swulling 训练肯定不行,内存大就可以平时玩玩推理么(不过好像也没时间

    @deplivesb 和 4090 的差距不应该这么小吧,难道是 batch 大了一倍?你这个 sd 是不是 batch 开的很大还是怎么样,sd 的参数量好像不多,请问除了 sd 的话 64G 显存还有什么玩耍的场景吗?
    ZedRover
        6
    ZedRover  
       2023-07-26 13:51:21 +08:00
    16g + vscode remote
    murmur
        7
    murmur  
       2023-07-26 13:52:54 +08:00
    @deplivesb 我看专业评测是只能有一半内存当显存用?
    lrigi
        8
    lrigi  
    OP
       2023-07-26 13:57:29 +08:00 via iPhone
    @murmur 我也想问这个问题,之前有人说 32G 的内存只能让 22G 当显存,有这样的限制吗?
    lrigi
        9
    lrigi  
    OP
       2023-07-26 13:59:26 +08:00 via iPhone
    @ZedRover 我现在就是 16G+vs remote ,但既然买电脑了,要求不高( 7B 到 65B 都能推理不过分吧
    8355
        10
    8355  
       2023-07-26 14:00:05 +08:00
    之前看到有大佬 Mac Studio 192g 内存跑模型用
    ZedRover
        11
    ZedRover  
       2023-07-26 14:12:53 +08:00
    @lrigi #9 不太清楚 mac 上的 torch 现在适配的怎么样了,之前跑 MAE 的代码跑不通,有几个库都不支持,之后就不怎么在 mac 上跑模型了,aws autodl 什么的随便开个按量的服务器跑不香么
    czfy
        12
    czfy  
       2023-07-26 14:17:03 +08:00
    搞 AI ,想本地跑,还用 Mac ?
    lrigi
        13
    lrigi  
    OP
       2023-07-26 14:26:27 +08:00 via iPhone
    @ZedRover 现在适配的应该不错了,毕竟 llama 和 sd 里面都有包含很多比较新的算子吧。服务器不缺,但不是要换机吗,3000 块加 32G 显存打着灯笼也找不到吧,还是挺心动的。
    lrigi
        14
    lrigi  
    OP
       2023-07-26 14:35:13 +08:00 via iPhone
    @czfy 😏时代变了大兄弟,m2 max 已经和 v100 计算力差不多了,以后可能真的很多论文用 mac 实现了。毕竟学界很多组还在 2080ti 和 titan 呢
    YsCi2
        15
    YsCi2  
       2023-07-26 14:35:30 +08:00
    我感觉相比 N 卡还是速度太慢了,N 卡能够节省数倍的时间,Mac 本地也就看看代码能不能跑。(我测试的是 ChatGLM 和 YOLO )
    czfy
        16
    czfy  
       2023-07-26 14:38:36 +08:00   ❤️ 6
    @lrigi 你还真信林亦的视频啊?
    尊重,祝福
    046569
        17
    046569  
       2023-07-26 14:41:57 +08:00
    原则上越大越好,目前 MPS 确实存在限制,粗略估算三分之二当显存.
    一旦内存爆了,速度会立刻降到没法使用.
    实测 32G 内存跑 70B 量化只有 0.03 tokens/s.
    RoccoShi
        18
    RoccoShi  
       2023-07-26 14:43:22 +08:00
    你想用 mac 搞 ai?
    lrigi
        19
    lrigi  
    OP
       2023-07-26 14:48:20 +08:00 via iPhone   ❤️ 2
    @czfy 我没怎么看过那个视频,你觉得我哪里说的不对你可以反驳我,而不是说一些没意义的话。相比专业的计算卡,mac 是不是在价格和显存容量上都有优势? m2 max 的 tflops 是不是跟 v100 差不多?
    shwnpol
        20
    shwnpol  
       2023-07-26 14:51:29 +08:00
    mac 不行,pytorch 适配得再好没意义,解决不了训练的问题,最多只能微调,皮衣的护甲现在打不穿的
    shwnpol
        21
    shwnpol  
       2023-07-26 14:53:31 +08:00
    用 cpu 跑模型至少 64g ,32 太小了塞不下
    AOK123
        22
    AOK123  
       2023-07-26 14:59:07 +08:00
    @lrigi #19
    cuda 生态不是那么容易跳出去的,显存再高没有 cuda 还是跑不了
    Pteromyini
        23
    Pteromyini  
       2023-07-26 15:04:09 +08:00   ❤️ 2
    @lrigi #14 你想的太多了,这个理论性能指的是推理性能,训练和推理完全不是一回事,M2MAX 反向性能打不打得过 3080 都不好说,更别提 V100 了
    AnsonUTF8
        24
    AnsonUTF8  
       2023-07-26 15:48:04 +08:00
    搞深度学习的用 16 的就够了哈哈哈,因为肯定得用服务器的~
    winson030
        25
    winson030  
       2023-07-26 15:50:45 +08:00 via iPhone
    大家预判下一个在计算领域吊打英伟达企业会是谁,赶紧买股票
    lrigi
        26
    lrigi  
    OP
       2023-07-26 16:00:27 +08:00 via iPhone
    @AnsonUTF8 你说的也有道理,现在用了快十年的 Mac 就是 16G ,总是要升级一点的嘛
    qzwmjv
        27
    qzwmjv  
       2023-07-26 16:23:38 +08:00
    @lrigi 据说 50%,16GB
    LaurelHarmon
        28
    LaurelHarmon  
       2023-07-26 16:26:31 +08:00
    没必要本地搞,服务器很香,已经习惯 ssh Linux pytorch cuda 生态了
    neopenx
        29
    neopenx  
       2023-07-26 17:08:27 +08:00   ❤️ 1
    @lrigi M2Max 只是 FP32 的 FLOPS 接近 V100 而已。FP16 的硬件加速在 ANE 上,做不了训练而且峰值还不如 FP32 。
    lrigi
        30
    lrigi  
    OP
       2023-07-26 17:20:04 +08:00 via iPhone
    @neopenx 确实,你说到重点了,这里是问题
    ShadowPower
        31
    ShadowPower  
       2023-07-26 17:24:37 +08:00
    买 8G 内存,加内存的钱拿去买 NVIDIA 显卡
    6i3BMhWCpKaXhqQi
        32
    6i3BMhWCpKaXhqQi  
       2023-07-26 17:25:17 +08:00
    一定要 64 ,32G 路过,太惨了
    6i3BMhWCpKaXhqQi
        33
    6i3BMhWCpKaXhqQi  
       2023-07-26 17:27:06 +08:00
    @czfy Mac 优势挺大的,统一内存会解决一些显存不够的问题。
    ShadowPower
        34
    ShadowPower  
       2023-07-26 17:37:21 +08:00   ❤️ 1
    关于“M2 Max 的 TFLOPs 是不是跟 V100 差不多”这一点,可以参考这个:
    https://sebastianraschka.com/blog/2022/pytorch-m1-gpu.html
    虽然是去年测的 M1 ,但 M2 和 M1 没有本质区别,只是晶体管规模比 M1 大了一点而已

    其实连 3060 都赢不过,然后 3060 比 V100 差多了,差在显存带宽和 Tensor Core 上,可以各租一台 VPS 对比测试
    dlwlrm
        35
    dlwlrm  
       2023-07-26 17:55:44 +08:00
    我是单独组了台 windows 远程跑 ai 的……mac gpu 和内存加的钱都能买两台 windows 机子了
    lrigi
        36
    lrigi  
    OP
       2023-07-26 17:57:27 +08:00 via iPhone
    @ShadowPower 显卡肯定不缺啊😂各种都有
    lrigi
        37
    lrigi  
    OP
       2023-07-26 18:26:42 +08:00 via iPhone   ❤️ 1
    @ShadowPower youtube 看了下 确实有差距😌和 4090 差距在十倍吧我笑死。V100 都是要淘汰的卡了,那苹果这个确实不太行,那感觉 64G 内存确实没啥用,甚至 max 都没必要上了
    mmdsun
        38
    mmdsun  
       2023-07-26 19:25:46 +08:00 via iPhone
    AI 买 Mac 你会后悔的,
    建议选至少 16GB 显存的 N 卡的 Windows 电脑,WSL 2 乌班图性能可以跑满,或者不玩游戏直接装乌班图就行
    Aspector
        39
    Aspector  
       2023-07-26 19:26:24 +08:00 via iPhone
    @murmur 应该不止一半,我的 32GB 能正常跑 INT4 的人 30B ,这个理论占用是 20GB 的。再往上就不行了
    Xie123
        40
    Xie123  
       2023-07-26 19:30:18 +08:00 via iPhone
    我是新人,求问,手机的 V 社没办法发帖子吗?我用的谷歌
    siriussilen
        41
    siriussilen  
       2023-07-26 19:34:12 +08:00
    老哥,我们都是代码提交到服务器上,本机的要求就是内存大就好了( 30 个网页 idea pycharm dataspell 同事打开不卡哪种)
    lrigi
        42
    lrigi  
    OP
       2023-07-26 19:39:19 +08:00 via iPhone
    @mmdsun 都用了快十年 Mac 了,就从来没考虑过 Windows 。没事俺有服务器,显卡其实无关紧要
    lrigi
        43
    lrigi  
    OP
       2023-07-26 19:41:53 +08:00 via iPhone
    @siriussilen 我也是这样想的呀😌本地要是能高速跑跑大模型 int4 推理就更好了。我就用 vscode ,transmit ,pdf ,网页一般不超过十个。之前试过 8G 的 mac mini 完全够了。
    lrigi
        44
    lrigi  
    OP
       2023-07-26 19:44:52 +08:00 via iPhone
    @Aspector 能跑 30B 其实就够了,再大的话不如直接模型并行丢服务器了
    mauis
        45
    mauis  
       2023-07-26 20:05:59 +08:00
    完 ai 就别折腾 mac 了。省下来钱租 v100 吧。要说纯推理买张 t4 也很香
    izzy27
        46
    izzy27  
       2023-07-26 21:24:31 +08:00
    就是选低配然后远程连到服务器呀,把钱省下来花在显卡上面不香吗
    zhouyg
        47
    zhouyg  
       2023-07-26 21:30:28 +08:00
    搭楼问,普通玩家,搞 AI 用什么机器,显卡和系统比较好?
    asdgsdg98
        48
    asdgsdg98  
       2023-07-26 21:33:31 +08:00
    还不如买个 4070 以上的卡
    WuSiYu
        49
    WuSiYu  
       2023-07-26 22:29:39 +08:00
    mac 炼丹图一乐,除了跑龟速的 LLM 推理/ft ,没别的用
    qweruiop
        50
    qweruiop  
       2023-07-27 00:02:57 +08:00
    玩 ai 就算了吧,nvidian 的 cuda ,搞了十年了,apple 和他谈不拢,现在业界的生态基本上都是 cuda 上的吧。。。
    murmur
        51
    murmur  
       2023-07-27 07:44:06 +08:00
    @zhouyg 个人玩家就是 2080ti 魔改 22g ,或者等新的 3070 魔改卡,想微调或者炼丹就去租服务器
    lchynn
        52
    lchynn  
       2023-07-27 09:17:50 +08:00
    M2 上据说 跑 LLAMA.C 的编译版本,推理速度大概就有几十个 token/s ;
    赶得上英伟达单卡 V100+原始的 llama2 模型了吧?
    terminals
        53
    terminals  
       2023-07-27 09:50:24 +08:00
    A100 80G 显存的够用了,ubuntu 系统跑
    terminals
        54
    terminals  
       2023-07-27 09:53:00 +08:00
    普通玩家,3090ti ,除了大语言模型,其他都够用了,用 ubuntu 系统跑,用 ubuntu 系统跑,用 ubuntu 系统跑
    ShadowPower
        55
    ShadowPower  
       2023-07-27 10:10:46 +08:00
    @lchynn 那是 15M 参数量的模型……
    其实普通的电脑也可以,那个项目优化并不好,是教学用途的
    iamqk
        56
    iamqk  
       2023-07-27 10:42:44 +08:00
    @ShadowPower 最新评测结果 https://www.lightly.ai/post/apple-m1-and-m2-performance-for-training-ssl-models m2 max 的 gpu 性能应该是 4070 左右吧?
    iamqk
        57
    iamqk  
       2023-07-27 10:53:20 +08:00
    应该是 m2 ultra ,记错了
    summersun2021
        58
    summersun2021  
       2023-07-27 17:28:26 +08:00
    @lrigi #14 m1 max 64g ,跑 sd ,风扇像拖拉机一样,跑了 30 分钟就关了,不敢试了。
    EchoAI
        59
    EchoAI  
       2023-07-27 22:15:25 +08:00
    使用服务器跑,ubuntu 系统 384GB 的内存。
    lrigi
        60
    lrigi  
    OP
       2023-07-27 23:32:15 +08:00 via iPhone
    @EchoAI 服务器内存再大都不妨碍思考是买 32G 还是 64G 的 Mac😌
    lrigi
        61
    lrigi  
    OP
       2023-07-27 23:35:01 +08:00 via iPhone
    @summersun2021 风扇拖拉机就拖拉机吧,我现在的 Mac 用 vscode 远程终端多输出一点内容就开始很吵了。风扇转一转应该没啥
    EchoAI
        62
    EchoAI  
       2023-07-28 01:10:46 +08:00
    @lrigi 有条件就上最高配,我当年买的时候最高只有 16G 。不过折腾 AI 的话,mac 目前还是有很多的不方便的地方,我的 Intel 的处理器基本上就不去想了。
    lrigi
        63
    lrigi  
    OP
       2023-07-30 19:49:46 +08:00 via iPhone
    @EchoAI https://developer.apple.com/forums/thread/729560
    Apple 论坛里也有相关的讨论,这个人直接买了 m2 max 96GB 我服了。
    nyxsonsleep
        64
    nyxsonsleep  
       2023-08-21 00:41:27 +08:00
    @deplivesb #2 但是 4090 理论性能是 m2 ultra 的三倍,更别说 m2max ,你这个例子怎么搞的 mac 速度变快了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1037 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 19:46 · PVG 03:46 · LAX 12:46 · JFK 15:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.