V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
frankyzf
V2EX  ›  问与答

ChatGPT 模型能被人理解吗?

  •  
  •   frankyzf · 2023-02-16 23:14:48 +08:00 · 1363 次点击
    这是一个创建于 406 天前的主题,其中的信息可能已经有所发展或是发生改变。

    不了解机器学习,只是好奇,训练出来的模型(不是指训练过程或喂的数据)能被创造他的团队或者其他人理解吗?感觉和之前发明的东西不太一样,之前发明的东西再复杂也是可被人类理解的。如果 ChatDPT 的模型不能被理解,还算是人类发明的工具吗?请各位大神解惑。

    13 条回复    2023-02-17 19:26:26 +08:00
    SuperMild
        1
    SuperMild  
       2023-02-16 23:26:17 +08:00   ❤️ 1
    暂时还是能理解的,未来很可能会发展到不能理解的程度。

    比如围棋 AI ,刚开始战胜人类时,很多人都说 AI 的下的棋很难懂,需要九段高手仔细分析才能理解一点点,然后渐渐地就变成了人类努力去理解 AI 下的棋,从而提高人类对围棋的理解。

    从某种意义上,可以说现在 AI 对围棋的理解比人类好很多。

    但人类至少可以理解 AI 的目的,它的目标,它想在游戏规则内胜出,这个还是很好理解的。

    未来 AI 会发展到,就连它的目的我们都无法理解,它想干什么,它表面呈现出来的是它的真实目的,还是它在伪装、在欺骗?以后我们将无法分别 AI 是否在撒谎。
    lambdaq
        2
    lambdaq  
       2023-02-16 23:32:11 +08:00   ❤️ 2
    > 训练出来的模型(不是指训练过程或喂的数据)能被创造他的团队或者其他人理解吗

    不能。175B 个参数,意思就是有 1750,0000,0000 个 FP16 浮点数。你想怎么理解?

    另外 openai 的字符是转换后的。https://platform.openai.com/tokenizer 这里可以看下它是怎么识别人类的字符的。
    Peek
        3
    Peek  
       2023-02-16 23:34:24 +08:00
    计算机跑的汇编很多程序员都看不懂,更别说机器语言 0 和 1 了,全世界都没人能理解,人类不是照样在用电脑和手机,不太理解你的理解指的是什么
    zooo
        4
    zooo  
       2023-02-16 23:38:44 +08:00
    不能!
    autoxbc
        5
    autoxbc  
       2023-02-17 02:34:55 +08:00   ❤️ 1
    @Peek #3 没那么简单,这是个重要的科学伦理问题

    如果 AI 决定切去病人 1/2 的肝脏,理由是虽然现在没有任何可见病变,但是读取病人全部 DNA 后认为有 80% 可能性在 5 年内癌变,那么这个结果的可理解性就很重要了

    甚至,以后可能由 AI 来决定是否发射核弹,因为他在 10 秒钟内通过遍布全球的传感器检测到威胁,决断时间窗口为 2 分钟,那么这个可理解性又更重要了
    dizzylight
        6
    dizzylight  
       2023-02-17 03:05:49 +08:00 via iPhone
    如果 100%控制等于"理解"的话 估摸开发人员对 chatgpt 的掌握程度大概 30%-50%
    yangyaofei
        7
    yangyaofei  
       2023-02-17 09:52:45 +08:00   ❤️ 1
    这个东西没有想象的那么智能, 仅仅是一个能够根据上文进行文字输出的语言模型, 是捏出来的一个样子, 很像是真的但迄今为止还只是捏出来的.

    建议看看李宏毅的视频, 那个视频应该大部分人都能看懂
    AnsonUTF8
        8
    AnsonUTF8  
       2023-02-17 10:20:29 +08:00   ❤️ 1
    OP 想说的是不是可解释性啊?这个是一个很重要的研究领域,目前的 chatGPT 为代表的 LLM 的可解释性是不足的。另一方面,如果单纯从模型结构和训练过程等角度来看,为什么他的效果会这么好,这些以前人的工作为基石的作品,是有很大的经验知识的,可以说从业者是理解他的性能为何如此优异的,但是如果要从数学等形式化的角度去看,我想业内对其的理解还是不充分的。
    frankyzf
        9
    frankyzf  
    OP
       2023-02-17 12:24:36 +08:00
    谢谢各位的回答,只是看到这个模型比较火,好奇这个模型的边界。和 @yangyaofei 说的一样,现在只是语言模型,看起来只能汇总文章的要点,给出一些代码示例,还不能理解现实世界中事物的含义,更不会了解人的思想。但会不会出现另一个只有 AI 才能理解的世界(比如清朝时西方世界对于大清),如果会,这两个世界将会是如何相互作用的(我们的世界会不会就像大清一样过时)? @AnsonUTF8 如果只是根据经验,会不会和其他经验科学一样(比如中医),经过很长时间才发现有副作用(甚至是致命的副作用)?
    AnsonUTF8
        10
    AnsonUTF8  
       2023-02-17 15:07:48 +08:00   ❤️ 1
    @frankyzf 副作用的问题我无法回答,(甚至中医的副作用这个问题也不太能回答 = =),你真的很感兴趣的话,我很乐意给你提供你几个关键词去深入了解一下 GPT 发展的脉络,这样可能会有一定的认识。按照时间顺序应该是:word2vec, ELMo, BERT, GPT2, T5, GPT3, Instruct-GPT 。除此之外还有 pre-training, fine-tuning, prompt-tuning, in-context learning 。
    israinbow
        11
    israinbow  
       2023-02-17 19:07:36 +08:00 via Android
    https://arxiv.org/abs/2005.14165

    人应该理解的是原理而不是训练好的黑盒。
    frankyzf
        12
    frankyzf  
    OP
       2023-02-17 19:15:35 +08:00
    @israinbow 谢谢。方便举个其他类似的例子吗?
    frankyzf
        13
    frankyzf  
    OP
       2023-02-17 19:26:26 +08:00
    我指的例子是人类发明的东西里,在懂原理但不理解结果的情况下,还能保证结果和理解的原理差别不是太大。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5407 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 07:01 · PVG 15:01 · LAX 00:01 · JFK 03:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.