这是一个创建于 127 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在用的台式机是 17 年配的,连 win11 都生不上去. 现在想换代了,想配一台电脑,可以本地搭建 ai. 要求如下: 1.只台式机本身,音响,显示器不需要 2.不需要考虑未来扩展,一个配置 5 年能用就行. 3.本地 ai 不仅要能跑,还需要能用.所以显卡最低不能少于 8g.
另外,还想请教各位,我现在在使用飞书的会议的字幕功能,以及生成总结功能,非常好用. 但是一个月 120 比较贵.如果我配了本地 ai 的话,要实现飞书这样的功能,可能么.
12 条回复 • 2024-08-19 13:16:30 +08:00
 |
1
gaobh 126 天前 via iPhone  1
至少一张 4090 满血版，其他主板啥的自己看着配，能带起来就行
|
|
2
gaobh 126 天前 via iPhone 1
配完只能说能用，但跑起来不好用，要好用组个 4 ，5 张试试
|
 |
3
RicardoY 126 天前 1
二手 mac studio ，用来跑大模型性价比极高的选择
|
|
4
RicardoY 126 天前 1
64G 内存的版本可以本地跑 70b 的模型
|
 |
5
GeekGao 126 天前 1
1w 不够，再往上一些。 个人使用，如果使用频率不高的话，本地搭建的成本太高了，还要考虑电费、噪音。
|
 |
6
lookStupiToForce 126 天前 4
歪路子两个：
1.如果只求跑模型，作图或者 LLM ，有些便宜到可疑的专跑模型的 GPU 选择 不求模型的推理速度快，只求能装进 vram 而不是 load 到内存让 CPU 去跑 可选 GPU： nvidia a2000 12G ，新卡软妹币 3500 左右 nvidia tesla m40/m60/p40...软妹币 500~1500 上下 除了 a2000 丽台还在产，后面的卡市场上鱼龙混杂，基本只能买到拆机卡或者矿卡，而且注意它们还没有视频输出口（ a2000 有 minidp 口） 这些基本只能跑 ai ，不能拿来玩游戏，tesla 卡你还得备上大电源，再拿着专门的风扇/空调对着吹来压温度 反正价格低带来的是往死里折腾 2. 好 U 配大内存（ 64G+ ram ），配张单卡 4060/4070ti 够用就行 因为就算是 llama3.1 70b 这种 39 个 G 的大模型，不降模型精度，单卡就算是 4090 照样不够用，堪称 a100 （软妹币 8W+）之下众生平等（但如果要双显卡，就还是上面 1.的话题了） 而模型一旦 load 一部分到内存，推理时 GPU 的闲置时间百分比直线上升，瓶颈都跑到 CPU 去了。 我之前测试过，llama3.1 70b 原始精度，在 64GB ddr4 3200MHz 内存加持下，cpu 11700K 可以跑出每秒 1.1 个左右的 token ，将就凑合玩儿。所以如果 CPU 好一些，甚至你上双 u 主板/服务器主板让更多的 u 一起跑，那么这种 70b 乃至更大一点的模型也能用（ 3+token/s ）。关键就是，内存要管够 |
 |
7
Admstor 126 天前
二手苹果 M 系列芯片，不开玩笑
|
 |
8
mmdsun 126 天前 via iPhone
双显卡机箱，插两张显卡。 大内存。
|
 |
9
JensenQian 126 天前
本地生成字幕的话挺简单的
whisper ，我 6800H 的核显都能用 总结的话你丢给 chatgpt 总结不就好了，反正都是文字 |
 |
10
jianghu52 OP @JensenQian 我之前也用过 whisper,我只会下载音频下来,然后再传上去.而且不能太大.要分割视频.
据说有本地版的,但是只是提供 api.外面的壳子还是要自己来.而且还是有大小限制.感觉不是很实用. |
|
11
JensenQian 126 天前
|
 |
12
hiceo 125 天前
可以参考下这个文章，由多个 mac mini 组成的配置
https://www.53ai.com/news/LargeLanguageModel/2024070296570.html |
Select Language