(别都选个 8GB 然后远程
1
swulling 2023-07-26 12:27:32 +08:00 via iPhone
搞 AI 用 Macbook 不太行吧。
MPS 跑跑推理还行,训练什么的行么。 |
2
deplivesb 2023-07-26 12:31:28 +08:00
搞 ai 用 MacBook ?
我的 m2 max 64G ,跑 sd 能吃掉 50G 左右的内存, 训练过一个小小的 cnn ,mac gpu 跑了 70 多个小时,相同的项目,4090 跑了 50 小时左右 |
3
vtemp249 2023-07-26 12:31:59 +08:00
本地需要堆的不都是显存,管什么内存
|
5
lrigi OP |
6
ZedRover 2023-07-26 13:51:21 +08:00
16g + vscode remote
|
9
lrigi OP @ZedRover 我现在就是 16G+vs remote ,但既然买电脑了,要求不高( 7B 到 65B 都能推理不过分吧
|
10
8355 2023-07-26 14:00:05 +08:00
之前看到有大佬 Mac Studio 192g 内存跑模型用
|
11
ZedRover 2023-07-26 14:12:53 +08:00
@lrigi #9 不太清楚 mac 上的 torch 现在适配的怎么样了,之前跑 MAE 的代码跑不通,有几个库都不支持,之后就不怎么在 mac 上跑模型了,aws autodl 什么的随便开个按量的服务器跑不香么
|
12
czfy 2023-07-26 14:17:03 +08:00
搞 AI ,想本地跑,还用 Mac ?
|
13
lrigi OP @ZedRover 现在适配的应该不错了,毕竟 llama 和 sd 里面都有包含很多比较新的算子吧。服务器不缺,但不是要换机吗,3000 块加 32G 显存打着灯笼也找不到吧,还是挺心动的。
|
14
lrigi OP @czfy 😏时代变了大兄弟,m2 max 已经和 v100 计算力差不多了,以后可能真的很多论文用 mac 实现了。毕竟学界很多组还在 2080ti 和 titan 呢
|
15
YsCi2 2023-07-26 14:35:30 +08:00
我感觉相比 N 卡还是速度太慢了,N 卡能够节省数倍的时间,Mac 本地也就看看代码能不能跑。(我测试的是 ChatGLM 和 YOLO )
|
17
046569 2023-07-26 14:41:57 +08:00
原则上越大越好,目前 MPS 确实存在限制,粗略估算三分之二当显存.
一旦内存爆了,速度会立刻降到没法使用. 实测 32G 内存跑 70B 量化只有 0.03 tokens/s. |
18
RoccoShi 2023-07-26 14:43:22 +08:00
你想用 mac 搞 ai?
|
19
lrigi OP @czfy 我没怎么看过那个视频,你觉得我哪里说的不对你可以反驳我,而不是说一些没意义的话。相比专业的计算卡,mac 是不是在价格和显存容量上都有优势? m2 max 的 tflops 是不是跟 v100 差不多?
|
20
shwnpol 2023-07-26 14:51:29 +08:00
mac 不行,pytorch 适配得再好没意义,解决不了训练的问题,最多只能微调,皮衣的护甲现在打不穿的
|
21
shwnpol 2023-07-26 14:53:31 +08:00
用 cpu 跑模型至少 64g ,32 太小了塞不下
|
23
Pteromyini 2023-07-26 15:04:09 +08:00 2
@lrigi #14 你想的太多了,这个理论性能指的是推理性能,训练和推理完全不是一回事,M2MAX 反向性能打不打得过 3080 都不好说,更别提 V100 了
|
24
AnsonUTF8 2023-07-26 15:48:04 +08:00
搞深度学习的用 16 的就够了哈哈哈,因为肯定得用服务器的~
|
25
winson030 2023-07-26 15:50:45 +08:00 via iPhone
大家预判下一个在计算领域吊打英伟达企业会是谁,赶紧买股票
|
28
LaurelHarmon 2023-07-26 16:26:31 +08:00
没必要本地搞,服务器很香,已经习惯 ssh Linux pytorch cuda 生态了
|
29
neopenx 2023-07-26 17:08:27 +08:00 1
@lrigi M2Max 只是 FP32 的 FLOPS 接近 V100 而已。FP16 的硬件加速在 ANE 上,做不了训练而且峰值还不如 FP32 。
|
31
ShadowPower 2023-07-26 17:24:37 +08:00
买 8G 内存,加内存的钱拿去买 NVIDIA 显卡
|
32
6i3BMhWCpKaXhqQi 2023-07-26 17:25:17 +08:00
一定要 64 ,32G 路过,太惨了
|
33
6i3BMhWCpKaXhqQi 2023-07-26 17:27:06 +08:00
@czfy Mac 优势挺大的,统一内存会解决一些显存不够的问题。
|
34
ShadowPower 2023-07-26 17:37:21 +08:00 1
关于“M2 Max 的 TFLOPs 是不是跟 V100 差不多”这一点,可以参考这个:
https://sebastianraschka.com/blog/2022/pytorch-m1-gpu.html 虽然是去年测的 M1 ,但 M2 和 M1 没有本质区别,只是晶体管规模比 M1 大了一点而已 其实连 3060 都赢不过,然后 3060 比 V100 差多了,差在显存带宽和 Tensor Core 上,可以各租一台 VPS 对比测试 |
35
dlwlrm 2023-07-26 17:55:44 +08:00
我是单独组了台 windows 远程跑 ai 的……mac gpu 和内存加的钱都能买两台 windows 机子了
|
36
lrigi OP @ShadowPower 显卡肯定不缺啊😂各种都有
|
37
lrigi OP @ShadowPower youtube 看了下 确实有差距😌和 4090 差距在十倍吧我笑死。V100 都是要淘汰的卡了,那苹果这个确实不太行,那感觉 64G 内存确实没啥用,甚至 max 都没必要上了
|
38
mmdsun 2023-07-26 19:25:46 +08:00 via iPhone
AI 买 Mac 你会后悔的,
建议选至少 16GB 显存的 N 卡的 Windows 电脑,WSL 2 乌班图性能可以跑满,或者不玩游戏直接装乌班图就行 |
39
Aspector 2023-07-26 19:26:24 +08:00 via iPhone
@murmur 应该不止一半,我的 32GB 能正常跑 INT4 的人 30B ,这个理论占用是 20GB 的。再往上就不行了
|
40
Xie123 2023-07-26 19:30:18 +08:00 via iPhone
我是新人,求问,手机的 V 社没办法发帖子吗?我用的谷歌
|
41
siriussilen 2023-07-26 19:34:12 +08:00
老哥,我们都是代码提交到服务器上,本机的要求就是内存大就好了( 30 个网页 idea pycharm dataspell 同事打开不卡哪种)
|
42
lrigi OP @mmdsun 都用了快十年 Mac 了,就从来没考虑过 Windows 。没事俺有服务器,显卡其实无关紧要
|
43
lrigi OP @siriussilen 我也是这样想的呀😌本地要是能高速跑跑大模型 int4 推理就更好了。我就用 vscode ,transmit ,pdf ,网页一般不超过十个。之前试过 8G 的 mac mini 完全够了。
|
45
mauis 2023-07-26 20:05:59 +08:00
完 ai 就别折腾 mac 了。省下来钱租 v100 吧。要说纯推理买张 t4 也很香
|
46
izzy27 2023-07-26 21:24:31 +08:00
就是选低配然后远程连到服务器呀,把钱省下来花在显卡上面不香吗
|
47
zhouyg 2023-07-26 21:30:28 +08:00
搭楼问,普通玩家,搞 AI 用什么机器,显卡和系统比较好?
|
48
asdgsdg98 2023-07-26 21:33:31 +08:00
还不如买个 4070 以上的卡
|
49
WuSiYu 2023-07-26 22:29:39 +08:00
mac 炼丹图一乐,除了跑龟速的 LLM 推理/ft ,没别的用
|
50
qweruiop 2023-07-27 00:02:57 +08:00
玩 ai 就算了吧,nvidian 的 cuda ,搞了十年了,apple 和他谈不拢,现在业界的生态基本上都是 cuda 上的吧。。。
|
52
lchynn 2023-07-27 09:17:50 +08:00
M2 上据说 跑 LLAMA.C 的编译版本,推理速度大概就有几十个 token/s ;
赶得上英伟达单卡 V100+原始的 llama2 模型了吧? |
53
terminals 2023-07-27 09:50:24 +08:00
A100 80G 显存的够用了,ubuntu 系统跑
|
54
terminals 2023-07-27 09:53:00 +08:00
普通玩家,3090ti ,除了大语言模型,其他都够用了,用 ubuntu 系统跑,用 ubuntu 系统跑,用 ubuntu 系统跑
|
55
ShadowPower 2023-07-27 10:10:46 +08:00
@lchynn 那是 15M 参数量的模型……
其实普通的电脑也可以,那个项目优化并不好,是教学用途的 |
56
iamqk 2023-07-27 10:42:44 +08:00
@ShadowPower 最新评测结果 https://www.lightly.ai/post/apple-m1-and-m2-performance-for-training-ssl-models m2 max 的 gpu 性能应该是 4070 左右吧?
|
57
iamqk 2023-07-27 10:53:20 +08:00
应该是 m2 ultra ,记错了
|
58
summersun2021 2023-07-27 17:28:26 +08:00
@lrigi #14 m1 max 64g ,跑 sd ,风扇像拖拉机一样,跑了 30 分钟就关了,不敢试了。
|
59
EchoAI 2023-07-27 22:15:25 +08:00
使用服务器跑,ubuntu 系统 384GB 的内存。
|
61
lrigi OP @summersun2021 风扇拖拉机就拖拉机吧,我现在的 Mac 用 vscode 远程终端多输出一点内容就开始很吵了。风扇转一转应该没啥
|
62
EchoAI 2023-07-28 01:10:46 +08:00
@lrigi 有条件就上最高配,我当年买的时候最高只有 16G 。不过折腾 AI 的话,mac 目前还是有很多的不方便的地方,我的 Intel 的处理器基本上就不去想了。
|
63
lrigi OP |
64
nyxsonsleep 2023-08-21 00:41:27 +08:00
@deplivesb #2 但是 4090 理论性能是 m2 ultra 的三倍,更别说 m2max ,你这个例子怎么搞的 mac 速度变快了。
|