打算用 AI 来做企业知识库,最佳的组合是什么?

[xubingok]

公司有个类似维修智能助手的小程序,用来给服务工程师提供设备维修指南的.

之前是固定问题+回答,体验不太好,这次想用 AI 知识库来做.

知识库已经梳理结构并用 md 格式保存.

尝试了 ollama 本地部署 DeepseekR1 的 7B 版本+AnythingLLM.
不知道是 7B 版本不行还是 AnythingLLM 的嵌入模型垃圾.回答完全不是知识库的内容.

于是找了个叫 Cherry Studio 的软件,用硅基流动的 api 使用在线满血版 DeepseekR1,嵌入模型用的 BAAI/bge-m3(不知道是个什么模型),效果强了不少,回答基本符合知识库了.

新的问题: R1 思考太慢了,基本上耗时 1 分钟-5 分钟.不太能接受. 换 V3 的话,回答又没那么准确了,常常会遗漏知识库中的部分内容.

我想换其他模型试试,但是考虑到 deepseek 是目前唯一可以本地部署的模型,换其他的可能不方便企业做私有化部署.

有没有大佬在这方面比较有经验的,求指点.

[poorLi]

先用 Coze 试试效果

[tigerstudent]

腾讯出了个 IMA 知识库，把文档丢进去就可以随便提问了，还支持共享知识库

[zhangH258]

至少需要 32B ，7 不行

[waityan]

企业知识库的话，可以试下 fastgpt 、dify ，用社区版就行了

[isSamle]

qwen2.5 不行吗?

[Unmurphy]

同遇到这样的诉求

[xubingok]

@isSamle #5 这个还没试过...大模型太多了.之前只用过 gpt4,现在还在尝试 deepseek 中.

[isSamle]

Ollama 部署，几个切换着试一下，DS 个人感觉有点啰嗦

[zgzhang]

dify+ds:32B ，基本可用，而且 dify 的知识库基本开箱即用

[shiny]

dify 多找几个 API 接入测效果，不一定要在 deepseek 一棵树上吊死

[lxqxqxq]

https://help.aliyun.com/zh/model-studio/getting-started/ 百炼 我们刚落地 需求跟你差不多

[xubingok]

@lxqxqxq #11 大概看了下,感觉阿里腾讯都有类似的产品了.这个支持本地部署不?企业的知识库传到外网还是不太合适.

[SwordSong]

最少 32B 的 LLM 才能有脑子调用知识库

[lxqxqxq]

@xubingok #12 本地部署去魔搭社区看看，但是不建议 哈哈哈哈 能用云商就用云商

[mumbler]

用 flashai.com.cn 提供的整合包，一键部署本地大模型+知识库，无需任何配置，也不需要懂技术，要什么模型有什么模型

[xubingok]

@mumbler #15 兄弟,别的不说,这个真的是垃圾.我下载安装了,就是个半成品...连菜单都没做完.

[litchinn]

可以试试调整下 RAG chunking

[coefuqin]

qwq 32B int 4 + bge-m3 ，并发不大的话 32G vram 够够的。不过得分卡跑。