V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mkdirmushroom  ›  全部回复第 10 页 / 共 13 页
回复总数  247
1 ... 2  3  4  5  6  7  8  9  10  11 ... 13  
188 天前
回复了 chanChristin 创建的主题 Apple iOS18 已更新
@zzbxqq 国内通话录音用不了嘛?
188 天前
回复了 chanChristin 创建的主题 Apple iOS18 已更新
国内用不了?
203 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@hootigger 应该是电感啸叫声,我刚开始有点介意,现在无所谓了,反正正常也听不到。
代理工具需要开启增强模式吗,毕竟是 app
209 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@AndyWang666 散热非常好,但是我的机器低负载有电流或者电报的声音,换了一台还是更严重了,只好忍了。pve 直通 oculink 没试过,手里没有显卡坞。
215 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@tclm 有点慢的,我试过,大概就 2.3token/s 吧
222 天前
回复了 serafin 创建的主题 Apple 买 M4 iPad 1TB 以下 建议等 6 月 WWDC 后再决定
@maolon apple 的优势其实还是生态,本地模型完全可以用家庭服务器跑,但是肯定不能接入苹果的软件就是了。
222 天前
回复了 serafin 创建的主题 Apple 买 M4 iPad 1TB 以下 建议等 6 月 WWDC 后再决定
为啥要用移动设备跑本地大模型,如果实在在乎隐私,完全可以在家里搭建一个家庭服务器来跑啊,内网直接连,外网穿透连。(我现在就是这个方案)
223 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@mkdirmushroom
@lchynn 8845hs 的 npu 算力不是浮点数,是整数 16TOPS
223 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@lchynn 买了啊,目前是我的主力家庭服务器,ollama 7b 推理肯定没问题啊,大部分电脑都随便跑的,主要还是看内存带宽的。我还试了 qwen 的 72B 4bit ,大概 2 ,3Token/s 吧。

我目前是 PVE 分了一个 32GB 内存的 ubuntu 跑 ollama ,基本上都用的 14B ,大概能有 10 几 token/s 吧。
250 天前
回复了 keyfunc 创建的主题 NAS 4 块 nvme 的 SSD 怎么组阵列
大佬既然是小主机全闪的话,万兆网口是怎么解决的?
262 天前
回复了 villivateur 创建的主题 云计算 oracle 东京网络是不是出问题了?
甲骨文真正诠释了免费的就是最贵的,我 3 月初好不容易注册成功了,也升级了,不到半个月被封了,那种过山车的体验很不爽。
266 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@uniqueman 看你内存大小了,内存大一点带宽高一点,理论上 72B 都能跑,不过速度比较慢。
我注册了十几天的升级号今天也被扬了
@sampeng 谢谢回复,因为手里正好有两根闲置的 2T 的 SSD ,不想额外再买 HDD 了。加上后面要买个小主机当作家庭服务器,NAS 系统也是搭建在其中的。另外额外买了个 AP 是因为卧室的 WIFI 信号有点差,小米的这个没有天线放在卧室也不是很碍事就买了。发这个贴的目的是想问问大家基于这些设备有没有更好的搭配方式。
@1018ji 我的存储容量需求比较低,就存存照片视频之类的,所以想着用现有的 2 根 2T 的 m.2 SSD 搭配小主机组个黑群晖就完事了~
@1018ji 小米的已经买了,买了小米的是因为卧室的 wifi 信号太差了。
大佬,现在固态涨成这样,还有回落的可能嘛
升级后应该不用保活吧
287 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@wxd21020 买了 gem12 了,8845 主机,准系统 2699 ,两个 m.2 ,一个 oculink ,两个 usb4 ,2 个 2.5G 网口,带副屏幕和指纹。感觉性价比蛮高,就是到手会有点晚,要 4 月初
1 ... 2  3  4  5  6  7  8  9  10  11 ... 13  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2807 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms · UTC 13:26 · PVG 21:26 · LAX 05:26 · JFK 08:26
Developed with CodeLauncher
♥ Do have faith in what you're doing.