请教定制 AI LLM 系统

[resu]

比如根据喂养的课程大纲、教学材料、练习题库和其它相关知识库，生成一个课程助手，帮老师制定学生计划、指导学生预习、复习、练习； 心理上，AI 拟人式一对一交流，给予一定排解、舒缓的对话沟通渠道。

以上，对通用 AI 有一定了解，应该是很难做到吧，如果是定制，可行性大不？

有个主要负责人，参观了若干同行采购或开发的 AI 产品介绍和演示，感觉目前效果不够，那反向思维得出潜力巨大，我方大可弯道超车。 非常相信某个暂且没有实际干货演示，但很懂教学、科研、很会沟通的朋友，对其将来的产品，描述得很好（文字、PPT 式）。 这样，技术支持部门完全没有底气啊，对方不愿意展示真正的技术实力，强调信任无价，技术主管很牛，曾经在百度阿里都是高手。

以上的局势，请问大家怎么看？

感谢大家的热心回复！😀
1 、具体内容问题，不好意思，不能写得太清楚，怕知情人也在这里；语法行文问题，看到大家能看懂就懒得啰嗦了，报告式文体写得费力，刚好有位朋友帮忙用 AI 润色了，喜欢看字多、段落清晰的朋友请移步 16 楼；
2 、算是 ToB 和 ToG 之间吧，事业单位，不面对大量客户，几个亿几千万就免谈了；
3 、需求模糊问题，只能说我收到的就类似这样，就像有位朋友说的有些魔幻，所以容易被人忽悠；
4 、通用 AI 我也玩过几个 ollama 模型+RAG 知识库，还不会微调 LLM ，感觉还不错，但是没有想像的那么神奇，自己水平也有限没有充分挖掘其强大能力吧；
5 、我是担心那个 PPT+文字聊天式+无演示的未来产品介绍水分太大，主要是说他的技术负责人如何牛，软件怎么厉害、算法怎么高级；方案中硬件却只有一台普通服务器+1 块 RTX 高端显卡，解释是因为它专注某个领域，不是通用 AI 所以对算力要求很低。

[resu]

补充一下，要求本地部署，非采购云服务。

[gaobh]

你指的是大模型也本地部署还是只是用大模型云 api ，大模型本地部署的话先准备几百万再说吧

[YJi]

你要不再组织下措辞？

[fox0001]

如果是自己部署自己用，那普通机器（包括没有 GPU ）也能跑大模型。如果是部署服务提供大量用户直接使用大模型，那投入的机器成本首先是道坎。

目前大模型除了机器障碍，其结果不可控也是个大问题。

[imes]

给我 200 万中介费，我帮你猎一个团队，后面你们自己谈费用，合同期不低于一年。3000 卡的规模，我估计都有点小，前期硬件费用，应该不会低于 2 亿。

[donaldturinglee]

光是算 GPU 的钱你们应该都付不起

[fizzmst]

你这业务到底是要 toC 还是 toB ？不过很明显这两个方向大家很难区分出来 80 分和 95 分，决定的往往是包装渠道关系
另外本地部署很多方案提供商都卖整机的，直接买就好，人家机器模型都弄好了

[tfdetang]

介绍的太粗糙了 完全不明白面向对象商业模式这些

[hbdh5]

你要本地部署？那采购个几个 8 卡 A800 节点的钱应该没问题吧？你说的定制如果是 prompt 那问题不大，你要是指的是定制模型那请参考最近 deepseek 训练成本 278.8 万 H800 GPU 小时，另外能有 deepseek 实力和微调经验的人工费我都没给你算。

我真的觉得有时候用户不知道自己想要什么。要这要那的，丝毫不顾自己那点需求其实用不到也用不起。

[biochen]

一个事很魔幻。OpenAI 收 20 美元每月的订阅费，并不能覆盖它的推理成本。而用户觉得 OpenAI 的模型还不够智能，还嫌贵。OpenAI 拿了很多投资，能烧钱。此外，还要赌技术的进步，能降低成本，提升效果和速度，否则商业模式上就是亏钱的。用户不愿意付更多的钱，或者讲大部分用户没有高价值的任务。

我尝试过用 RTX4090+开源大模型开发一个 RAG 机器人用于辅助教学，我只要求能回答学生在课程学习方面的问题，但是效果还比不上通用的免费大语言模型。更多的资源投到教学机器人上，就不经济了。

“参观了若干同行采购或开发的 AI 产品介绍和演示，感觉目前效果不够”，这应该就是行业平均水平。

“我方大可弯道超车”，别想多了。

[z1829909]

"若干同行都做不好, 反向思维得到潜力巨大"
也可能是: 目前的软硬件水平还不能做到很好

[youngce]

AI 领域存在弯道超车这么一说吗？说白了就是数据和算力，贵司哪个方面比市面上的 AI 公司强？

[NoOneNoBody]

成本是第一道坎，“不准确”是第二道坎
前者任何有钱的人能解决，后者除了技术还需要时间

PS: “技术主管很牛”，不一定是技术牛，可能是项目管理牛，只要技术广度足够（深度也要达到某个阈值）就能很好管理项目，但 AI 开发需要的是深度更牛

[yufeng0681]

@imes #5 2 个亿，可以请特级教师 50 个来人肉做。2 亿元的利息+收益，就能覆盖人力成本。

[forgottencoast]

@youngce
最近几天国内网民都在热赞 deepseek 弯道超车啊。

[Revenant]

帖子内容经过 DeepSeek v3 重新组织后如下：

---

**关于定制 AI 课程助手的可行性探讨**

最近在考虑根据课程大纲、教学材料、练习题库等资源，开发一个 AI 课程助手，帮助老师制定学习计划，并指导学生进行预习、复习和练习。此外，这个 AI 助手还能够在心理层面提供拟人化的一对一交流，为学生提供情绪排解和舒缓的沟通渠道。

**问题 1：通用 AI vs 定制 AI**
我对通用 AI 有一定了解，感觉要实现上述功能可能比较困难。如果是定制开发，可行性有多大？

**现状与挑战**
我们的一位主要负责人参观了多家同行采购或开发的 AI 产品，并观看了相关演示，但感觉目前的效果并不理想。基于此，他认为这个领域潜力巨大，我们有机会实现弯道超车。

**信任与技术实力的矛盾**
这位负责人非常信任一位朋友，这位朋友虽然没有实际的产品演示，但在教学、科研和沟通方面很有经验，并且对未来产品的描述非常吸引人（通过文字和 PPT 展示）。然而，技术支持部门对此缺乏信心，因为对方不愿意展示真正的技术实力，只是强调“信任无价”。据悉，对方的技术主管曾在百度和阿里担任要职，技术背景很强。

**讨论**
大家如何看待当前的局势？我们是否应该继续推进这个项目？如果是，如何平衡信任与技术实力之间的矛盾？

---

这样组织后，内容更加清晰，逻辑也更加连贯，便于读者理解和讨论。

[aarontian]

全程没主语，不知所云，op 需要注意一下表述方式

[resu]

@biochen 谢谢！很有参考价值。

[resu]

@NoOneNoBody 同感🤝

[resu]

@z1829909 同感，主贴中的反向思维者不是我……

[xabclink]

相信我, 你要的是 api 代理服务 😄

[resu]

@xabclink 通用 AI 提供的 api 服务应该满足不了要求，需要定制，且数据不放心存储于云上。