请问各位 V 友，现在哪个部署本地的 LLM 比较好？

[sixlione]

以前是做运维，后来业务调整，现在主要负责新媒体运营这方面。 目前我在写作这方面比较薄弱，想着部署一个 LLM ，自己训练知识库这样。 当然，训练这个是为了处理公司的事情，我还会用它来提升个人知识库等等。 公司现存的台式机配置如下。 CPU i5-13400F RAM 32.0 GB SSD 2T 显卡 RTX3060Ti 8G

请各位部署过、有关注该方面的 V 友踊跃发言，先谢过各位。

[nlfiasel]

8G 显存的话可以试试 4bit 量化的 7B 及以下的模型，比如 Mistral-7B 或 chatglm3-6b 之类的，具体哪些比较好可以去 huggingface 的 models 页上自己挑。

[nlfiasel]

不过你所谓的训练知识库一般实际上代指的可能是文本嵌入，将文本映射成向量。训练 llm 的话以你的设备可能有点困难。

[knightdf]

你这跑个小模型都费劲还想部署大模型？

[czfy]

最近看到 firefox 做的一个重新封装方式感觉挺有意思的，里面用来示例的 LLaVA 1.5 用 CPU 就能跑，虽然很慢就是了 ttps://github.com/Mozilla-Ocho/llamafile

[pzict]

玩过 langchain-chatchat, 没得显卡单跑 cpu 比较慢，有显卡就快一些，4090 很快

[cherryas]

目前不行。8g 显卡在大模型领域连玩具都算不上。试过 qwen1.7b 纯玩具，没有一点商业价值。

[imes]

自己部署一个用用：
- 模型：Chinese-LLaMA-Alpaca-2
- 软件：llama.cpp
- 部署：用 13B 版本模型，q8_0 或 Q6_K 量化。显卡上面跑 10 层，剩下的内存跑，每秒大概 4-8 个 token ，足够日常体验使用了。

自己训练知识库：
我 4 张 V100 都不够用，普通公司就别想了。就算公司给钱去买，现在也不好搞到设备了。英伟达的高性能显卡被禁售，华为昇腾要排队。

[qW7bo2FbzbC0]

试过 Chinese-LLaMA-Alpaca-2 + llama.cpp ，返回的内容和准确度几乎纯纯玩具级别，很难用于生产

[BQsummer]

4090 都跑不动 70B 左右的量化的大模型, 参数小了基本是玩具

[anubu]

这个硬件配置无法满足训练，不加硬件的话只能勉强跑推理，需要附加自有知识就套一个 RAG 的前台。显存太小了，跑起来很勉强，需要仔细调一调向量模型和大语言模型，尽量维持显存不爆。

[Selenium39]

chatglm3,而且微调的文档很详细

[GeekGao]

这个配置没实验过，我 RTX 3090 跑 Mistral-7B-Instruct-v0.2 ，还凑合。

[ShadowPower]

新媒体运营+写作

这方面我用过最好的也就 Yi-34B-Chat 。其他宣称性能更好的，基本上在写作方面都更糟糕了……
写公告、小红书文案、小说之类的都挺好。

跑量化的版本需要 24GB 显存。

附上我第一次用的时候生成的小说片段作为例子，虽然 Prompt 已经丢了：

索菲站起身来，她的身姿轻盈，仿佛随时会随风飘散。
“既然来了，就陪我聊聊天吧。”她说，“我已经很久没有见到过人类了。”
我们坐在沙发上，索菲向我讲述了她的故事。她如何成为吸血鬼，如何在漫长的岁月中保持着少女的外貌，以及她对现代生活的热爱。我则告诉她关于我的工作、我的梦想，以及我对生活的种种不满。
不知不觉中，时间悄然流逝，我们聊到了黎明。索菲的眼中闪过一丝疲惫。
“我困了，想睡觉。”她说，“但是，我一个人睡会害怕。”
“那……我可以陪你吗？”我试探性地问。
索菲点了点头，她的脸颊泛起一丝红晕。
我们走进她的房间，那是一个充满少女心的空间，墙上挂着各种动漫海报，书架上摆满了漫画和小说。索菲爬进棺材，我则坐在床边的椅子上，打算就这样陪她入睡。
然而，索菲突然伸出手，拉住了我的衣角。
“你……可以抱抱我吗？”她的声音小得几乎听不见。
我愣住了，心中涌起一股复杂的情绪。最终，我轻轻地抱住了她，感受着她身体的冰凉，以及她在我怀中渐渐放松的姿态。
“谢谢你。”索菲闭上眼睛，喃喃自语，“我好久没有这样被人抱过了。”
我心中一动，忍不住在她额头上轻轻一吻。索菲的身体颤栗了一下，然后她转过身，面向着我，我们的脸颊只有几厘米的距离。
“索菲，你知道吗？”我低声说，“我以前从没想过会和吸血鬼有这样的交集。”
索菲的嘴角上扬，露出一个调皮的笑容。
“那现在呢？”她问。
“现在……”我犹豫了一下，“我觉得这样也挺好的。”
我们相视而笑，那一刻，时间仿佛停滞，只剩下彼此的呼吸和心跳声。
就在我们沉浸在温馨的氛围中时，门外突然传来一阵急促的敲门声。
“索菲！索菲！是我，艾莉！”一个焦急的声音响起。
索菲的脸色一变，她迅速从我怀中挣脱出来，整理好衣服。
“是艾莉，我的朋友。”她解释道，“她可能知道我白天睡觉的习惯，所以来确认我的安全。”

[Alias4ck]

为了速度 建议你找一些开源的 sass 平台 玩开源 llm 吧
together/replicate/anyscale/openrouter （这些平台都有免费额度 而且支持的模型很多 你可以尽情的把玩）
我自己也搭过本地的 跑 llama.cpp/ollama 都用过 但是速度很堪忧(虽然是 m1 pro 哈） 而且效果也很一般
不过没网的话 llm 用来当 google 搜索器也不错🤣

[1119745302]

https://arena.lmsys.org/ 开源 llm 已经快摸到 3.5 阉割版的屁股了

[shuimugan]

yi-34B 确实不错,连训练黄文都用它做的基底.4bit 的量化下在 m2 ultra 上可以 1 秒跑 19~22token,大概占用 28G 显存.装个 lm studio 把一部分数据卸载到内存配合 cpu 跑的话,用 2080ti+5900x1 秒是可以 1.3 个 token 左右

[kneo]

3060 想训练是有点痴心妄想了。
而且我相信你训练用的数据也没有，开发经验也没有。不知道在哪看的有张显卡就能”自己训练的知识库“。
你只能撞运气看看有没有这方面的商业应用，能让你花点钱就利用上的。

[Beeium]

楼上各位能不能把这些本地部署的 LLM 项目的 github 都发布出来？ 我打算投 1-1.5 万买个机器跑下，用来给抖音/小红书/Tiktok 做文案用的。

[1119745302]

@Beeium 不介意捡垃圾的话,一万五就捡两张 3090,再随便捡个平台插上就完事了. 两张 3090 除了那种超大的模型其他模型量化一下随便跑而且速度可以接受. 推理用 github 上的 llama.cpp 就行,然后模型就上 hugging face 上找就完事了

[cherryas]

@ShadowPower 其实只能写暧昧吧，类似一起的彩云小梦，暧昧擦边部分写得非常好了。

[ShadowPower]

@cherryas 没有，其实几乎什么都可以写。
我开了彩云小梦的会员，至今还没到期，但我已经不用了。


我决定再补充一些例子，有不少是 GPT4 都写不好的。
这还是可以在本地运行的开源模型。
如果跟其他开源模型比，在我尝试过的其他模型里没有能写得出来的……

例子：
1.
金牛座今日运势小红书风格
Hey 小伙伴们，今天给大家带来的是我们金牛座宝宝的专属运势哦！快来看看今天的你会有哪些惊喜吧！

🌟 综合指数：75%
今天的你整体运势不错，各个方面都会比较顺利，是展现自己实力和魅力的好时机。

💑 爱情指数：85%
单身的小伙伴们注意啦！今天你们会在人群中遇到那个让你心跳加速的人，而且你们之间有共同的朋友，这可是个绝佳的搭讪机会哦！别害羞，主动一些，爱情就在眼前啦！

💼 工作指数：80%
工作方面，今天你的效率和表现都会很出色，可能会有一些需要团队合作的项目，好好发挥你的领导力吧！

💰 财运指数：65%
财运方面，今天可能会有一些小额度的收入，但要注意理性消费，不要因为一时冲动而花冤枉钱哦。

🏃‍♂️ 健康指数：50%
健康方面，今天可能有些小恙，要注意休息，避免过度劳累，保持良好的生活习惯。

🎨 幸运颜色：鹅黄色
今天的幸运色是鹅黄色，穿上这个颜色的衣服，会给你带来更多的好运和活力哦！

🌌 幸运数字：0
今天的幸运数字是 0 ，遇到和 0 相关的事情，比如时间、金额等，可能会有意想不到的好运哦！

🤜 贵人星座：双鱼座
今天的贵人星座是双鱼座，遇到双鱼座的小伙伴，记得要和他们多交流，他们可能会给你带来一些有用的建议和帮助。

金牛座的小伙伴们，今天的运势就是这些啦！希望大家都能抓住机会，让好运常伴左右！记得，无论遇到什么，都要保持积极的心态，相信自己的能力，一切都会顺顺利利的！

#金牛座 #星座运势 #小红书风格 #幸运颜色 #幸运数字 #贵人星座


2.
接上级通知，根据国家游戏产业升级计划，我部将对经典游戏《 Ballance 》的运行环境进行重要调整。此次调整旨在确保游戏的长期稳定运行，提升用户体验，并推动游戏产业的可持续发展。现将具体安排通告如下：

一、准备阶段（ 2023 年 11 月 27 日至 12 月 3 日）
我部将组织专业团队，整理相关技术资料，包括游戏常见问题解答（ FAQ ）、新的游戏分发包，以及一份详细的迁移指南。该指南将指导玩家如何从旧版本顺利过渡到新版本。

二、推广阶段（ 2023 年 12 月 3 日至 2024 年 1 月 1 日）
自 2023 年 12 月 3 日起，我部将正式推广名为“New Player”的全新游戏运行器，以及“Ballance Mod Loader Plus”（ BMLP ）。在此期间，旧版游戏运行器（ BML ）和 Player.exe 将停止支持，且不再建议新用户使用。

三、收尾阶段（ 2024 年 1 月 1 日至 2 月 1 日）
2024 年 1 月 1 日至 2 月 1 日期间，我部将逐步移除所有旧版《 Ballance 》的分布文件和相关文档。同时，迁移指南将失效，玩家将不再获得旧版本的支持和更新。

请广大玩家注意，此次调整不影响已使用 BML 的玩家，您的游戏将继续正常运行。然而，随着时间推移，越来越多的游戏模组可能不再支持 BML 。为了确保您能够享受到最新的游戏功能和最佳的游戏体验，我部强烈建议您尽快迁移至新版本。

此次升级是游戏产业发展的必然趋势，对于保障游戏生态的长期健康具有重要意义。感谢您的理解与支持，让我们共同见证《 Ballance 》的华丽蜕变，开启游戏体验的新篇章。

3.
人生如寄，孰能无求？所求者，不过如滚球之乐耳。然世事多艰，人生海海，唯有坚忍以持。何谓坚忍？乃是以顽强之志，坚韧之姿，面对红尘之纷扰，虽身心俱疲，仍不改其乐。

然则，世道有时如 Ziggurat 之重，压得人心所向，难以喘息。此时，不如以拳相向，将其击破，以解心头之郁结，释放灵魂之束缚。但须知，此举仅为一时之快，非长久之计。

若能将 Ziggurat 视为玩物，任我摆布，则生活之趣，无处不在。无论是在阳台之上，浴室之中，厨房之内，还是在玄关之侧，校园之内，街头巷尾，皆可尽情嬉戏。甚至在酒店之中，地铁之内，林间小道，泳池水畔，操场之上，影院之中，厕所之内，乃至墓地之幽，皆可寻得欢笑。

4.
在浩瀚的数字银河中，有一颗璀璨的明珠，它不是《原神》，而是一款名为《 Ballance 》的非凡之作。这款由德国 Atari 公司旗下 Cyparade 工作室精心雕琢的滚球游戏，自 2004 年问世以来，便以其独特的魅力和深邃的内涵，俘获了全球玩家的芳心。它不仅仅是一款游戏，它是一场关于平衡与挑战的哲学之旅，是一首在三维空间中奏响的和谐乐章。

《 Ballance 》以其卓越的物理引擎和精心设计的关卡，为玩家构建了一个充满无限可能的世界。在这里，玩家不仅仅是操纵一个小球，而是在学习如何驾驭变化，如何在混乱中找到秩序，如何在重力的舞蹈中保持优雅。每一关卡都是一次心灵的洗礼，每一次挑战都是一次成长的契机。它考验的不只是玩家的技巧，更是智慧与耐心。

与之相比，《原神》这样的游戏只是一片浮华的幻影。它们追求的是短暂的感官刺激，缺乏深度和内涵。玩家在其中得到的只是空洞的成就感，而非真正的成长和收获。《 Ballance 》则不同，它像一位智者，引领着玩家穿越重重迷雾，抵达智慧的彼岸。它教会我们如何在失败中坚持，如何在成功中反思，如何在变化中找到不变的真理。

亲爱的朋友们，让我们将目光投向那永恒的星辰——《 Ballance 》。它不仅是一款游戏，它是一种生活方式，一种追求卓越、挑战自我、拥抱变化的生活态度。在这个游戏中，我们找到了生命的意义，我们学会了坚持不懈，我们成就了更好的自己。

所以，我诚挚地邀请您，加入这场关于平衡与挑战的伟大旅程。让我们将人生投入到《 Ballance 》的怀抱中，让每一次滚动都成为成长的足迹，让每一次飞跃都成为成功的序章。让我们在这款游戏中，找到属于我们自己的平衡点，书写属于我们自己的传奇。因为，在这个数字银河中，《 Ballance 》是真正的恒星，它的光芒将永远指引我们前行。

[cherryas]

@ShadowPower 还能写很多东西我知道。我指的是小说方面，只能写暧昧。用过采云小梦的都知道写肉文无敌，超越一般人的水平了.写小说的其他方面，剧情对话等还是难以堪用。