这是一个创建于 517 天前的主题，其中的信息可能已经有所发展或是发生改变。
背景：在与 AI 模型对话的过程中客户端需要把对话历史记录也发给 AI ，这样 AI 能根据上下文更好的理解用户意图并作出回应。但是，无关的历史信息会影响 AI 对意图的理解，而且也会增加模型的负担。
场景：用户和模型的对话主题是旅游，然而，用户突然蹦出个电影问题，然后又回到旅游主题，这时历史记录中就冒出个无关的电影内容，这对主题是无关紧要的，而且浪费 Token 。
如何在历史记录中剔除与主题无关的内容？
第 1 条附言 · 2023-07-03 12:12:21 +08:00
我是开发客户端 App ，希望找个方案来避免发送不必要的历史内容
 |
1
pigmen 2023-07-03 01:59:02 +08:00
直接删除就好了呗，不支持的话建议换个客户端
|
 |
2
maolon 2023-07-03 03:32:54 +08:00 via Android
使用带 embedding vector search 的数据库来存历史对话，比如 redis ，postgresql ，云方案可以用 pinecone 之类的，然后返回 score 在一定阈值之上的历史问答
|
 |
3
liantian 2023-07-03 08:21:51 +08:00 via iPhone
1. 用 ai 解决，似乎…更费 token 。
2. 分词一下，根据词频和权重，似乎不够智能？ 非人工，想到的也就这样了额。 还是学会怎么问问题比较好，比如我想旅游看个电影，ai 或分词方法，会不会异常排除掉了… |
Select Language