在自己家里搞了个本地大模型基座, 实现了应用内接入 AI 自由.

[wises]

48G 内存小主机, 通过外接显卡埠一个 5070TI 的 16G 显存,经过 claude 的优化分配. 家里内网的一些应用直接局域网接入, 外部通过一个公网域名发布, 给一些广域网上跑的应用接入了 AI, 很好用, 模型是 qwen3.6-35, 基本应用内的一些对话和调用已经足够使用.

期待显卡大降价, 这样我就可以自己开算力中心,小型的可以给朋友用的那种.

用来检索一些大型的单证, 和客户分析,只要不并发太多, 足够了

我也做了个统计面板, 这是 token 数量.

[soleils]

速度如何

[wises]

@soleils 和显卡配置有直接关系, 显存越大肯定运行的模型越强, 不过目前这个显卡勉强能用,用来文字,图片处理, 一些在线客服足够用了.

[YanSeven]

比较好奇这个档次的本地智力是属于在原有的应用能力上“聊胜于无，锦上添花”还是发挥了核心的作用。

[wises]

@YanSeven 这么说吧, 如果企业中应用了这个, 用来处理大规模数据还是有用的, 比如文档/单证/会计律师事务所这些单证比较多的还是足够的.

[soleils]

@wises #2 我是说你这套能多少 token?

[ostrichb]

企業還不如直接買一個 DGX Spark 跑，不缺錢買這個

[jinsongzhaocn]

最近几个月折腾硬件不划算，内存涨疯了，动不动就 1 万以上

[coefu]

2026 年的 LLM ，就算是 qwen3.5 9B ，也是比 v 站 99.999%的人综合实力高。它比的是顶级（若干个领域的顶级博士集合）差，不是比只有单领域本科的大众差。


自己了解下那些 LLM pk 用的 benchmark ，大部分人，估计拿 1 分的能力都没有。

[fe619742721]

我关心的是这个尺寸的模型，基础的文档/单证场景会容易出错吗？

[kenshinhu]

想问一下，这个是否 通过本地分析问题之后调度不同的模型进行处理的？

[defunct9]

只有一个模型噻 @kenshinhu