V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
FaiChou
V2EX  ›  OpenAI

OpenAI 的 GPT3.5 似乎没有 4096 tokens 限制了?

  •  
  •   FaiChou ·
    FaiChou · 2023-05-04 16:26:42 +08:00 · 2393 次点击
    这是一个创建于 575 天前的主题,其中的信息可能已经有所发展或是发生改变。

    只是好奇做了一下测试, 发现即使远超这个 tokens 限制, 也是能正常回复的:

    测试数据:

    <script src="https://gist.github.com/FaiChou/a01fb13cd332910ee7877e32572fbd3f.js"></script>

    测试代码:

    curl https://api.openai.com/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer sk-XXX" \
    -d @gpt3.5-test-messages.json
    -i -o response.txt
    

    返回数据:

    <script src="https://gist.github.com/FaiChou/776ed61de0f5d1cee0209ed7e18d8aae.js"></script>
    FaiChou
        1
    FaiChou  
    OP
       2023-05-04 16:28:24 +08:00
    FaiChou
        2
    FaiChou  
    OP
       2023-05-04 16:29:06 +08:00
    哎 我记得 V2EX gist 能够展示来着?
    yinmin
        5
    yinmin  
       2023-05-04 17:39:07 +08:00 via iPhone
    你在发送数据的时候去掉 stream ,openai 在返回数据包里会告诉你具体的 token 数,看看有没有超。
    mashihua
        6
    mashihua  
       2023-05-05 22:20:25 +08:00
    "finish_reason":"length" 算没有限制?
    54yzwddsg
        7
    54yzwddsg  
       2023-05-05 23:25:47 +08:00
    楼上大哥血亏 4096 token
    FaiChou
        8
    FaiChou  
    OP
       2023-05-06 10:17:31 +08:00
    @mashihua 不太清楚, 正常结束都是 finish_reason: stop
    FaiChou
        9
    FaiChou  
    OP
       2023-05-06 10:17:52 +08:00
    @54yzwddsg 哈哈 随便 4096 token 而已 用不了几个钱
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2942 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 11:25 · PVG 19:25 · LAX 03:25 · JFK 06:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.