Topics 275
这个节点讨论在本地电脑或者局域网里运行 LLM（大语言模型）的技术细节
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
Parent Node
42
Related Nodes
 |
我自己的电脑是 5070Ti，总感觉跑一些模型算力不够 babymonster • 2h 28m ago • Lastly replied by babymonster | 41 |
 |
能一起给本地部署的开源模型做个适配的 coding agent 吗？我憋了口气 KaiWuBOSS • 15 mins ago • Lastly replied by kda1578888 | 101 |
 |
用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了
Livid PRO |
14 |
|
全球本地部署开发者们一起，打造一个真正属于开源社区的 Coding Agent 了 KaiWuBOSS • 2h 15m ago • Lastly replied by coefu | 29 |
 |
qwen3.6 27b 本地编码测试 zsj1029 • 1h 58m ago • Lastly replied by zsj1029 | 56 |
|
我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 KaiWuBOSS • 9h 23m ago • Lastly replied by xuhengjs | 103 |
 |
自己做了一款在线 GPU 推理速度计算器 · TPS Calculator diudiuu • 2h 22m ago • Lastly replied by coefu | 5 |
 |
xllm 真的比 vllm+plugin 性能好么？ joeue404 • 2 days ago |
 |
各位推荐一个 32G Macbook air M5 可以跑的 moe 模型 Hermitist • 3 days ago • Lastly replied by Hermitist | 19 |
 |
请教一个关于模型训练主机配置的问题 jamme • 3 days ago • Lastly replied by zhoukevin233 | 12 |
 |
我的开源项目，欢迎大家使用和批评，本地无字典字符型模型训练架构代码完全开源，可形成语义结构 evegod • 3 days ago |
 |
大伙有想过二次训练吗？ archxm • 4 days ago • Lastly replied by mingtdlb | 9 |
 |
想在本地部署 OCR 服务，解析美团的外卖订单截图，求推荐一个好用的 OCR 模型 EchoPrince • 1 day ago • Lastly replied by PersueYan | 48 |
 |
多台 GPU 之间怎么组网互联？ mingtdlb • 3 days ago • Lastly replied by makictos | 30 |
 |
用 DGX Spark 做这些事情，是否能力合适/足够，有佬能解答吗?(估算也行) qazwsxkevin • 4 days ago • Lastly replied by diudiuu | 6 |
 |
有没有简单版的 new-api 项目 novaren • 1 day ago • Lastly replied by wukaige | 7 |
|
部署本地模型 token 输出万能公式 diudiuu • 8 days ago • Lastly replied by diudiuu | 3 |
 |
本地部署靠不靠谱？ jdjingdian • 9 days ago • Lastly replied by diudiuu | 6 |
 |
为什么你该停止使用 Ollama catazshadow • 7 days ago • Lastly replied by seakingii | 14 |
 |
本地大模型多大显存够用？ s2555 • 6 days ago • Lastly replied by s2555 | 14 |
Topics 1 to 20 of 275
305 people have favorited this node
Select Language