RT ,目前我是拿大模型当工具用,我想让它记住一个提示语,后面我只管提出问题,它回答我就行,消耗的只是提出问题和回答问题的 token
目前如果想这么做
要么记住所有的对话历史,每轮对话都要消耗以前对话历史的 token
或者每次都带上 Prompt ,白白消耗 token
请问有什么方式能解决吗
1
liu731 30 天前
叫它总结就好了,没必要每条历史消息传过去
|
4
gitlight 30 天前
gemini,openai 和 claude 都支持 prompt caching 功能,缓存过的 token 价格更便宜 https://www.anthropic.com/news/prompt-caching
|
6
landerwong99 30 天前
@gitlight 意思是:传还是避免不了的,但是价格可以便宜些?
|
7
hzdt OP @landerwong99 是的,国内的话 deepseek 好像有类似的功能,大厂的搜了没找到
|
8
taotaodaddy 30 天前
你这个需求用类似 next chat,chat box 都能实现:
提示词放入系统提示词 然后把"保留对话轮次"设置为 1 应该就可以了 |
9
hzdt OP @taotaodaddy 这样提示词还是会每轮都会消耗 token 吧?只是业务逻辑调整了下
|
10
taotaodaddy 29 天前
@hzdt 是的
目前各 AI 应该是没有“内存”,所有信息都来自于你发过来的 content ,所以总是要发的 |
11
PositionZero 29 天前
|
12
gitlight 29 天前
@PositionZero 刚才还在用这个功能,对于蒸馏小模型来说简直不要太好用
[url=https://imgse.com/i/pAsrBi8][img]https://s21.ax1x.com/2024/11/05/pAsrBi8.png[/img][/url] |