企业有哪些场景可能会需要私有化 AI 大模型？

[Trinity888]

大家一起探讨一下，互相交流，探讨 AI 在私有化领域的机遇

[murmur]

有啥好探讨的，百度已经支持文心私有化部署了，人家有专门的团队在执行这个东西帮你部署帮你策划场景帮你训练

[murmur]

据我所知现在做办公的、做音乐的都在部署自己的 AI 模型，甚至很多已经大范围推了，现在还在探讨估计喝粥都困难了

[Worldispow]

ai 包含很多，比如图像识别、模型预测等等，不仅仅是 chat

[lneoi]

还有图像生成，出图的靠 AI 也快很多

[BingoXuan]

保密环境下的各种需求

[ivstranger]

首先你自己得有大模型，人家企业才会找你私有化，但是这个门槛也太高了，普通企业/个人别想了。

[luobingit]

内部知识库？我司之前有这个想法，传统行业公司内部知识比较分散，纯靠脑子记。但是成本也是一方面

[zjuster]

电商公司跑商品图、跑营销图
直播公司虚拟主播

这两个是电商行业运营成本的大头之一，是有盈利空间的。

电商客服，大模型的提升相对目前的“智能客服”提升不大，成本反而很高，我认为是一个陷阱。类似的业务，尽管大模型可以做，但之前的数据模型早就可以做到商用水平+较低成本了，ROI 太低了。

[ychost]

客服

[Trinity888]

@BingoXuan 整体是偏向这方面，另一块是针对企业内部（非保密型企业）

[Trinity888]

@luobingit 对，这点确实是。目前各企业内部知识库基本靠 CRUD 加检索，如果有 AI 加持，会不会更有效率。成本主要在训练企业内部数据这块。

[Trinity888]

@zjuster 您说的确实是这两块，可能大企业 AI 都在攻。我们只能做些更专注某行业业务方面的模型，这样还有点机会。目前看知识库智能推荐、划词推荐、根据知识库生成一些自己需要的内容，这块您觉得可行不

[aleimu]

目前在做公司内部的知识库问答,这样的开源项目很多,部署起来也容易,难的是内部数据的收集和整理,想高出高质量的问答对需要花很多时间

[Trinity888]

@zjuster 目前图书市场怎么样？

[Trinity888]

@aleimu “高出高质量的问答”，这个貌似没有个可验证的标准，这对模型训练要求更高一些。可以探讨一下，如何才能更高质量

[zjuster]

@Trinity888

我在 07 年和 16 年分别在两家公司做过类似的文本模型建设，都是当时的头部企业。这两段经历，尽管服务器算力有很大的增长吗，模型标准性和逻辑关系、复杂文本处理能力都有增长（甚至说突破吧），但本质上的结果（用户检索结果的相关性和准确性的相关指标）没有突破性，只在在上下文的能力是有一些提升。

就算到如今 22 年的层出不穷的大数据模型，在文本和结构化方面的用户端输出侧，依然不存在 相比三元组解法 的突破性进展。这些结果的好坏，不在于模型能力，更多的是在于你投入数据评估与校对的人力。（人-功-智能）。

所以我看好图形影音方面（多媒体或者说多模、多元）的进展，对文本相关内容持有悲观态度。

[736531683]

任何场景，一个公司有相当多的内部数据，不私有化怎么利用起来。

[2NUT]

@murmur 越早不是越好，早的可能是先烈

[murmur]

@736531683 AI 不懂装懂这个问题不解决怎么大规模商业内部铺开，我还得先判断 AI 是不是说胡话

[akring]

能想到最简单的就是问答库，例如内部规章解答。

[Myprajna]

有很多，但是不能告诉你。

[Lion814]

@aleimu 每个公司知识库都不一样，定制化长尾场景会不会成本太高？如果提供可以自训练的平台是不是更容易商业化

[threeEggs123]

语音识别，就是 ASR STT,或者 TTS ，专门给金融机构的呼叫做这种服务。然后语音这种可能有隐私信息，就要企业化私有部署，都没上云。

[hxzhouh1]

专家系统？

[aleimu]

@Lion814 不用训练模型,只是做文本向量化匹配,然后由大模型总结和整理给出回复,这是目前比较流行的方案

[yinmin]

用户评价的 AI 分析。用户评价是一段文字，让 AI 去做识别归类后入数据库。给一段 GPT Prompt 的实战示例：

===========
system:
以下是电子商务网站的用户评价信息，请分别用 10 字~50 字给出用户评价产品的优点、缺点、总结评价、需要商品售后服务解决的问题，如果是客户使用抱怨产品不佳无需售后服务解决的，请填“无”，如果客户评价中提到的问题已经解决了，请填“已解决”，并评估用户评价是正面还是负面的，完全正面 5 分，完全负面-5 分，给出评估值。数据以 json 返回，JSON 格式为{"总结":"...","情绪": 5} ，以下是用户的评价：

user:
紧急要用，发过来一台，别人退的。开机键一层老灰，屏幕也是一层灰，上一任拿卡针粗鲁了点，撕烂了。告诉我是正常的？？？

assistant:
```json
{
"产品优点": "无",
"产品缺点": "存在灰尘和损坏痕迹",
"总结": "商品质量差，存在灰尘和损坏痕迹。",
"需要售后服务解决的问题": "无",
"情绪": -3
}
```
===========

[yinmin]

客户工单的紧急度识别。通过 AI 阅读工单正文的文字，结合客户等级和以往的工单记录情况，给工单的紧急度打分。如果 AI 判断是紧急工单，就提升工单优先级。

[yinmin]

接 #26 ，将用户评价信息转换成 json 包存入数据库后，产品优点/缺点的信息列表后再次喂给 AI ，让 AI 总结。处理 1 个产品的几万条评价，几十分钟就能汇总出用户对产品的真实评价，能进而指导产品/销售的改良。

[Trinity888]

感谢大家的创意想法