V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
javlib
V2EX  ›  科技

现在的 GPT4 逻辑推理是个猴版

  •  
  •   javlib · 2023-03-27 22:02:46 +08:00 · 1670 次点击
    这是一个创建于 608 天前的主题,其中的信息可能已经有所发展或是发生改变。

    今天看了 b 站上转载的 youtube 博主的微软报告分析,我大收震撼,GPT4 在推理方面有很大的进步,能做数学题。

    然后我找了几个微软论文里的测试项,测出来的结果却不如微软报告里的 gpt4 ,如下:

    3.1.1 leetcode 题目,动态规划,从矩阵左上角到右下角,给定每个矩阵节点 value ,求所有可能的路径,路径的节点和要被某个数整除 比较:GPT4 能输出正确结果,注释没有微软测试的丰富

    3.2 理解伪代码和执行伪代码。代码主体是一个递归函数,递归函数中调用了另一个函数。 比较:微软 GPT4 正确。GPT4 答案错误。执行到递归的最深处,本来需要返回上一层递归继续算,但是 GPT4 在这里直接返回结果了。

    4 简单数学 兔子繁殖 比较: GPT4 在按照年份算兔子代数表达式是对的。但是最后求解方程乱算。微软 GPT4 算出了正确答案(有瑕疵)

    4.1 数学题 兔子繁殖问题的方程式 比较:GPT4 给出正确答案

    4.4 数学题 证明题 比较难,没办法用套路,需要创新思维 比较: GPT4 是乱证明,微软的 GPT4 给出了正确的证明

    大家也可以自己上去试一下,找到论文后,把 prompt 部分贴进去就行。总之今天测下来确实不如微软论文里展示的 GPT4 。按理来说微软用的是几个月前的版本,新版本应该更好才对。

    4 条回复    2023-03-29 10:41:24 +08:00
    neteroster
        1
    neteroster  
       2023-03-27 22:10:35 +08:00 via Android
    总感觉现在的版本可能经过了某种弱化,推测是算力不够了。这几天 GPT4 输出越来越慢,而且很多时候会不全,要经常继续,可能经过了一些调整。反正我现在感觉体验还不如 3.5 ,快的同时基本能力也没问题。
    javlib
        2
    javlib  
    OP
       2023-03-27 22:14:39 +08:00 via Android
    @neteroster 可能吧,是不是也导致最近加了频率限制,三小时 25 条。还是希望能早点用上更强的 GPT4
    WinG
        3
    WinG  
       2023-03-27 23:18:54 +08:00
    反正是离线模型,这玩意迟早得封装成一块芯片,否则满足不了人们的需求。
    sola97
        4
    sola97  
       2023-03-29 10:41:24 +08:00
    @javlib 还有每次回复超过 2 分钟就会断掉,一个回答需要消耗两三次
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2984 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 14:15 · PVG 22:15 · LAX 06:15 · JFK 09:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.