公司一个台式机想作为服务器部署本地大模型，怎么在局域网使用呢

[xinhaiw]

需要申请公网 IP 吗，只是公司内网使用？不太懂网络，需要大佬解答一下

[liu731]

https://www.gradio.app/

[cheng6563]

直接 ollama 就能启动并暴露 OpenAI 兼容的 API ，然后再随便套个 GUI 就行了。

[xzg1993]

台式机的性能够吗。

[xinhaiw]

@cheng6563 直接通过局域网 IP 例如 192.168.1.100 这种就可以吗？

[tool2dx]

@xzg1993 正常来讲是不够的，台式机显存太小了。

看 github 上各种神仙后续优化了，会不会有技术突破。

本地只能跑残血版，还不如让同事直接用满血版 API 。

[proxytoworld]

内网使用有内网 IP 就行了，用 ollama 有 api ，本地装一个客户端就行了

[fishlium]

我们搞了一台 8 卡 4090 不太够用

[winnie2012]

得 8 张 H100 才能跑 671b 全量版本，价值人民币 200 万元。

[wu00]

”一个台式机“
这种情况，本地部署不是用来学习的吗

[adguy0228]

把防火墙关了，然后套个 openwebui 就可以给别人用了

[julyclyde]

现在就连不会计算机基本操作的人都要搞 AI 了
我看这 AI 很快就要凉了

[wangyuescr]

@julyclyde 这才是互联网的魅力好吧

[julyclyde]

@wangyuescr 用户玩玩闹闹也就算了；从业人员不宜这样

[xinhaiw]

@julyclyde 老哥，我只是不懂网络，我之前开发都是云上开发的，没本地局域网部署过

[julyclyde]

@xinhaiw 不止。你对服务器应该也没什么概念

[xinhaiw]

@julyclyde 我开发好几个电报机器人，都盈利了，你说我不懂...

[Mingcr]

@xinhaiw 啊，TG 机器人🤖找台服务器吧

[julyclyde]

@xinhaiw 拿结果反推，缺乏基本逻辑啊
逆命题和原命题就没什么关系

再说 tg bot 才费多少资源

[coefuqin]

@xinhaiw 只能说你基本功太差，这种问题，问 deepseek 就行，还专门开一贴。属实菜。

[volvo007]

本地部署的话完全可以封闭，应该不需要公网 ip

[cander0815]

大佬，请问怎么实现让 deepseek 这种存文字模型的可以解析图片？