V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wangshushu
V2EX  ›  随想

LLM,把世界变成超级计算机

  •  
  •   wangshushu · 149 天前 · 3583 次点击
    这是一个创建于 149 天前的主题,其中的信息可能已经有所发展或是发生改变。

    作为曾在 AI 公司做过产品经理的人而言,面对大语言模型展现出的 AGI 曙光,情绪是激动而复杂的。

    AI 公司的经历,让我受益良多:

    对神经网络,深度学习,机器学习,强化学习,算法模型等概念有了更全面的认知; 了解了符号主义,行为主义,连接主义,玻尔兹曼机,反向传播等人工智能发展历史; 对算法,算力,数据的核心价值有了更深刻的理解; 对算法特性与应用场景的边界问题更加敏感。

    但当时 AI 行业的状况,却扭曲了我对 AI 最原始的憧憬与畅想。

    客观来讲,那会儿的 AI 只能算是用深度学习的方法增强了一些特定任务(比如模式识别)的实现效果,与理想中的 AGI 相去甚远。

    好比是通过复杂的训练,得到了一条可以执行缉毒任务的警犬,或是一只马戏团的猴子。他们有一点聪明,但是总归不是人。

    在我离开 AI 公司之际,我甚至有点悲观地认为当前范式下 AGI 已经成为不可能实现的愿景,甚至把 AI 归为信息发展的支线,而非主线迭代。

    但这种悲观在短短 18 个月后被打破——2022 年 11 月 30 日,ChatGPT 发布。

    这次 openai 可能带来了一个婴儿,或者是一个弱智,anyway ,起码是一个人了。

    我是在 2020 年 gpt-3 发布之时了解到 openai 暴力美学的理念,在 2022 年 12 月份注册 ChatGPT 正式体验。 我尝试用 ChatGPT 做了很多事情:

    帮我润色一篇文章,启发我做产品功能的灵感,帮我设计一个调查问卷,做一些数据分析与统计,学习新的技术原理,流程与法律的合理化建议,解释一些生僻的词句比如“摈落蹄筌,方穷至理”,发送图片识别一双运动鞋的品牌与系列,甚至我有尝试完全通过 ChatGPT 来创作一部中篇小说。 [ GPT 科幻小说] 深渊梦境:第一章:末日 之前我们聚焦某个算法模型可以做什么,在无数次被 ChatGPT 提示“You've reached the current usage cap for GPT-4”之后,我怀疑有什么是 LLM 模型不能做的。

    现在分析,评论 ChatGPT 与 LLM 的文章浩如烟海,但我想从一个不太一样的视角来分析一下 LLM 将会带来的影响——LLM ,正在把世界变成超级计算机。

    在我的观点里面,大语言模型本质上像编译器。

    传统的编译器将高级编程语言编译为计算机可执行的机器语言,进而降低编程的难度,可以让更多的人参与到编程工作中来。 而编程,几乎是过去我们建造数字化的唯一手段。但在今天,掌握高级编程语言的仍然是少数人。 少数,意味着稀缺的资源,昂贵的成本,以及缓慢的进度。人类的编程力成为现实世界与数字世界的瓶颈。 大语言模型跟编译器有着高度的相似性——都是把人类更容易掌握理解的语言,解释,转化为机器可以理解运行的底层代码。 大语言模型则有希望将自然语言变成“超图灵完备语言”,这将使数字化程序的开发得以结构化,量化,并大幅降低成本。

    随着 LLM 将现实的物理世界不断地编译成数字化的世界,整个世界将变成一台超级计算机。而 GPTs , 显然已经在预示这一趋势。

    另外一个值得关注的趋势是 AI 硬件。

    随着 AI 的水平面漫过人类世界越来越多的山头,AI 将以无法阻挡的趋势进入我们的生活。新的信息范式下,必然会出现新的载体形态。文字/印刷术,互联网/PC ,移动互联网/手机,AI 时代必然会出现新的 HMI 理念与新的设备形态。

    过去讲产品经理分为软件产品与硬件产品,软件又细分为用户,社区,策略,增长,商业化,内容等等类型。但需要认识到这种细分是在行业高度成熟阶段,产生深度分工的结果。而高度成熟必然意味着红利消退,而我们正身处变局。

    第 1 条附言  ·  149 天前
    在下的公众号,欢迎大家来关注交流!

    18 条回复    2023-11-30 14:32:19 +08:00
    hardyfish
        1
    hardyfish  
       149 天前
    顶一个!
    LLM ==>超级计算机
    现在特定的特殊问题还是需要人来解决,AI 目前解决的是通用性问题.
    比如我要在我安装的一个特殊版本的 linux 下更改内核驱动网络模块接收延时策略. 这个目前 LLM 能有啥作为呢?
    LeeReamond
        2
    LeeReamond  
       149 天前   ❤️ 9
    产品经理写出来的文章,不像是技术人员写的。你这文章发到今日头条也许不错,发到 V 站不感觉发错地方了么?

    就现有的 DNN 的基础网络,这么多年发了这么多文章,当然 trick 是很多,我也很尊敬研究前辈,但是说到底实际上翻来覆去也就 CNNRNNX-former 那几套,X-former 做到 CV 领域以后现在也发现了 VIT 那套纯粹是近视眼,时序更是根本玩不转,这几年文章又回过头去搞 MLP 了。也就单纯在 NLP 的领域,因为语言主要看词汇而忽略顺序特性,再加上全人类知识在语言领域有投影,GPT 换了训练集以后突然一下子 zeroshot 效果很好,给了某些人一种无限增大模型导致无限进化的错觉,是不是因为产品经理上了人家给你准备好的速成班以后过于乐观,啊,我不好说。

    我毫不怀疑几年以后会出现工业领域的通用机器人,大幅降低重复性劳动成本。但是所谓通用人工智能,反正我是回复呵呵。要我说啊,别看现在全网各种 LLM 和各种微调,牛皮吹得震天响,绝大部分公司连 Bert-base 都还没上,说的话又有几分能信?
    wangshushu
        3
    wangshushu  
    OP
       149 天前
    @LeeReamond 哈哈哈是产品经理写的,但是也没有上速成班,只是从自身经历感受来写的而已。我对 AI 还是乐观的,这点也没错。V 站产品经理也不少吧哈哈哈
    leviyuan
        4
    leviyuan  
       149 天前
    超级计算机这个观点很赞
    Parva
        5
    Parva  
       149 天前
    如果“大语言模型则有希望将自然语言变成“超图灵完备语言”,这将使数字化程序的开发得以结构化,量化,并大幅降低成本。”成立且日渐成熟。
    大佬觉得可能会出现什么现象?程序员的趋势将如何?
    fano
        6
    fano  
       149 天前
    GPT 提供了一个可扩展的方法,让 LLM 不断生长。未来克服算力(硬件或架构)和数据的瓶颈后,也许会有媲美人类最强智囊团的 AGI 。
    shimanooo
        7
    shimanooo  
       149 天前
    《未来简史》还是《人类简史》里的观点:人脑本来就是一种计算机
    Masoud2023
        8
    Masoud2023  
       149 天前
    tldr
    wildman9527
        9
    wildman9527  
       149 天前
    说了这么多,不在结尾处放个知识星球的二维码真是可惜了 。。。
    langhuishan
        10
    langhuishan  
       149 天前
    让 LLM 学习汇编直接转化自然语言到机器码?
    1145148964
        11
    1145148964  
       149 天前   ❤️ 1
    不谈数学不谈技术的人工智能。就和幻想大同世界没有任何区别
    wangshushu
        12
    wangshushu  
    OP
       149 天前
    @Parva 如果是 control c+v 的程序员会消失,但是更精通底层原理的程序员会有更大的作为,因为整个数字化的盘子更大了
    wangshushu
        13
    wangshushu  
    OP
       149 天前
    @wildman9527 哈哈哈马上安排公众号
    wangshushu
        14
    wangshushu  
    OP
       149 天前
    @langhuishan 乐观地看,这个可能就是一层窗户纸
    wangshushu
        15
    wangshushu  
    OP
       149 天前
    @hardyfish LLM 应该已经可以给到一些不错的建议了,LLM will be a powerful assistant to an above average programmer
    wangshushu
        16
    wangshushu  
    OP
       149 天前
    @shimanooo 人脑的确非常像计算机,但是基于生命技术的优势也沿袭了其弊端,非常有创造力,但是很难复制。硅基计算机起点低,但是迭代速度快,能完美继承上一代的改进,我们马上就能看到这两条线的交点了。
    maxxfire
        17
    maxxfire  
       149 天前
    @shimanooo 不仅人脑是计算机,AI 还发现人体的 DNA 链条就是一种计算机语言
    CrazyRundong
        18
    CrazyRundong  
       149 天前 via iPhone
    Not even wrong.
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2763 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 952ms · UTC 06:35 · PVG 14:35 · LAX 23:35 · JFK 02:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.