闲置 16GB M1 Pro MBP 跑大模型

[ahdw]

Gemma4 E4B IT 4bit MLX 能跑出几十 tokens/s ，但是有什么用呢？试着在同一局域网里面的 Mac Mini ，把 OpenCode 的 Quick 类指定成它，但是 12K 上下文都能报错，tensors cannot be broadcast 。这玩意儿到底有什么用？

也试了一下 Jackrong 的 Qwopus 3.5 9B 6bit MLX ，还是只能当单次聊天回复机器人用，接入 OpenCode 就报错。

实在是想不出来本地 LLM 有什么用。

加钱换 64G 的新机器？那钱买 Coding Plan 都够用多长时间了，不比本地模型强多了。

[sddyzm]

本地模型很弱智，不建议将这点加入到任何和现实生活相关的考量中，当它不存在

[yougo]

之前看到说 50 张 H200 也无法支撑起一个 GPT 5.2 Pro 的稳定的算力需求 所以即便那些遥遥领先的闭源模型哪天开源了 也跟大多数人没有关系 光是电费就远超当前订阅的费用 所以以后只要需求持续存在 模型就会持续涨价直到和个人部署成本达成平衡

[nc]

64G 统一内存都不够用。不如用买机器的钱去买 token ，本地模型智商还是低，上下文也有限。

[aklllw]

想起一个冷笑话：
“我的 xx 设备能够连续跑一天的任务花费超多 token 不用一分钱”
“有没有可能是因为智力太低了所以才需要跑一整天”

[wsbqdyhm]

单卡 4090 跑过 qwen3.5:35b 、gemma4:27b ，没什么实际意义。

[unusualcat]

没有。唯一的用处就是即时翻译……

[villivateur]

我想到本地模型有一个用处，就是帮盲人了解周围的情况，盲人用手机拍照后，用本地模型解析为语音

[fredweili]

有用，用法是跑本地小模型测试自己写的 agent/rag 代码，节约一点 token ，还方便看 log
要是接入 claw 跑生产环境，用错了地方，老老实实的买订阅

[workbest]

搞搞翻译，summary 这些没问题；

coding ，作图，视频肯定不行

[bcllemon]

本地模型用来做路由可行吗？根据业务自动切换至不同的 ai

[clemente]

@yougo 假的
512b 的模型上 nvfp4 只需要 500gb 的显存服务器就够了 按照 H200 也就是一台服务器 8 张卡

[mengdu]

现阶段没啥用。

[Whittaker]

彦祖们，如果用本地模型搭建一个 QA Agent 有搞头嘛？

[yjhatfdu2]

这个问题我在 omlx 上遇到过，似乎是你设置的上下文大小，不是比较整数的值，比如你填个 32768 或者 65536 试试

[beginor]

不要那么悲观，本地跑一个 Zeta 或者 Qwen coder 配合 llama-code 插件做代码提示还是挺好的 🙂

[MacsedProtoss]

本地模型感觉就翻译了 或者劣质小说生成器
我是 5090 32g gemma 4 31b 上下文也就能拉到几万而已 用途也十分有限