这是一个创建于 380 天前的主题，其中的信息可能已经有所发展或是发生改变。
其实 ChatGPT 刚出来的时候就有这个想法，想做一个自己的“分身”，主要是说话方式要模仿到位。 全网搜了一下就两个办法: fine-tuning 还有现在的 GPTs ？巨佬们请给点建议。
第 1 条附言 · 2023-12-15 19:12:55 +08:00
更新了，更新了 /t/1000780
效果还不错
效果还不错
 |
1
polyanthusun 2023-12-14 08:43:56 +08:00
等大佬们回答，这个方面我最近也在研究
|
 |
2
shenyiyouge 2023-12-14 08:46:21 +08:00
有解请踢我一下
|
 |
3
cat9life OP @polyanthusun #1 试了下 GPTs ，效果并不好
|
 |
4
woaigeny 2023-12-14 09:34:40 +08:00
关于“分身”（克隆），可以了解一下 x eva
|
 |
5
notproblem 2023-12-14 09:54:49 +08:00
之前看到过，用的 chat glm 貌似可以
|
 |
6
avalon8 2023-12-14 09:55:15 +08:00
我用的阿里的百炼大模型训练平台还行吧
|
 |
7
siriussilen 2023-12-14 09:58:45 +08:00
说话方式模仿到位的话，fine-tune 可以实现，sft 有两个部分，一个是 input ，一个是 target ，对于语气 sft ，可以 input 为空
，target 只有内容，这个你可以参考一下微软的资料。另外小心实验参数设置，epoch 多的话，模型很容易变傻 |
|
8
siriussilen 2023-12-14 10:01:28 +08:00
或者你也可以尝试一下 icl ，给几个 few-shot ，如果使用 gpt4 模型很容易学到这一类的信息
|
|
9
siriussilen 2023-12-14 10:01:45 +08:00
其他开源的模型 qwen 等不保证，差距还是比较明显
|
|
10
cat9life OP @siriussilen #7 大佬可以展开说一下，或者由参考资料吗。谢谢
|
|
11
cat9life OP  我应该实际试一下，这是官方的说法。模仿语气正是他的特长。就是不知道需要多少训练数据才行？ |
|
12
siriussilen 2023-12-14 11:39:00 +08:00  1
@cat9life
1. 如果使用 open platform 的 sft 平台的话，先看一下 open ai 的官方指南，上面明确说了应该用多少数据来做 sft 比较好 https://platform.openai.com/docs/guides/fine-tuning/fine-tuning 如果效果不佳，或者效果不错应该如何处理 2. 语气的安利 sft 在微软的 azure sft 教程里面有提到，https://learn.microsoft.com/zh-cn/azure/ai-services/openai/tutorials/fine-tune?tabs=python%2Ccommand-line （刚刚看好像更新没有了，可能还得翻翻） 当时的结论就是说不需要 input ，只需要在 target 侧准备你的语气相关语料即可，可以先用小部分数据试试 3. 在 sft 之前，先写好 prompt ，看看用 prompt 或者几个 few-shot 例子看能能否搞定这个问题 |
 |
13
otakustay 2023-12-14 17:43:57 +08:00
只做分身聊聊天的话 rag + gpts 就够了吧，sft 还是用在比较专业点的地方好，毕竟贵……自己显卡能跑的小模型另说
|
 |
14
nezuko 2023-12-14 19:10:17 +08:00
b 站林亦有个视频介绍的这个, [聊天就能编程！我用 GPTs 做了个自己的数字化身] https://www.bilibili.com/video/BV1ug4y1X7MJ
|
|
15
cat9life OP 1
|
Select Language