首页
注册
登录
tclm 最近的时间轴更新
tclm
V2EX 第 325054 号会员,加入于 2018-06-27 15:17:25 +08:00
tclm
提问
技术话题
好玩
工作信息
交易信息
城市相关
根据 tclm 的设置,主题列表被隐藏
二手交易
相关的信息,包括已关闭的交易,不会被隐藏
tclm 最近回复了
77 天前
回复了
izzy27
创建的主题
›
程序员
›
独立开发好做吗?
@
ruobingm
叫私域
141 天前
回复了
zzzyk
创建的主题
›
程序员
›
推荐个 mini 主机,开发用
正在用天钡 gem12 8845hs / 散热很好 / 家用场景下 WIFI 够用 / 正常使用没声音
176 天前
回复了
muxiaofei
创建的主题
›
职场话题
›
如果会大模型的多模态、调优,能找什么工作? BOSS 直聘搜什么关键字呢?
我觉得吧,国内搞大模型除开那几家头部,可能是真下成本在搞。其他的都是套壳忽悠钱,他们不在乎你会做什么,在乎的是你的背景能不能帮他忽悠。
191 天前
回复了
wxd21020
创建的主题
›
NAS
›
配置小主机跑大模型
@
mkdirmushroom
嗯,感谢,那纯 CPU + 内存 进行 70B 模型推理还是很勉强的事情.
195 天前
回复了
wxd21020
创建的主题
›
NAS
›
配置小主机跑大模型
@
tclm
@
mkdirmushroom
主要是推理效率,也不能太慢对吧,如果 CPU 跑不了 70B 的话,那内存的预算其实可以削减下来.
195 天前
回复了
wxd21020
创建的主题
›
NAS
›
配置小主机跑大模型
@
tclm
@
mkdirmushroom
内存是 96G ( 48G 5600Hz * 2 )
我主要担心的是 8845HS 在内存足够的情况下,处理器性能是否满足 70B 的推理要求。
195 天前
回复了
wxd21020
创建的主题
›
NAS
›
配置小主机跑大模型
@
mkdirmushroom
老哥,配的多少内存,我准备搞一台 8845HS (或 Utral5 125H )+ 96G ( 48G 5800Hz * 2 ) 来跑 70B 的模型,只做本地推理,按你的经验,有搞头吗?
»
tclm 创建的更多回复
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2700 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms ·
UTC 14:56
·
PVG 22:56
·
LAX 06:56
·
JFK 09:56
Developed with
CodeLauncher
♥ Do have faith in what you're doing.