感觉这种 GPT 这种语言技术虽然不知道什么原理，但真是太强大太降维打击了。。

[James369]

去年我还在想学习一下“编译原理 /编译器”技术，来尝试实现编程语言代码的自由转换。现在想想真的太幸运自己没有花时间在上面，那真是太浪费时间了，还好没碰。

现在 chatgpt 技术太牛逼了，随便贴一段代码，都能给你转换出来，甚至汇编语言都可以，还把注释的明明白白。

虽然搞不清楚深度学习是什么原理搞定的，但毋庸置疑 gpt 是懂编译原理的，毕竟它也属于自然语言。

唉，可怕。。

[fox0001]

编译原理，是大学本科的计算机专业课程的必修课。没碰上，我觉得不是“幸运”。如果啥都不去弄懂，很容易被 AI 淘汰。

另外“gpt 是懂编译原理的，毕竟它也属于自然语言”，这句话我看不懂。

[James369]

@fox0001 这句话我是这么理解的，GPT 是自然语言处理模型，而编译原理解决的是计算机语言问题，而计算机语言是更有规则的自然语言。所以，GPT 可以解决编译原理所解决的问题。

[poyanhu]

GPT 有时候，也会一本正经地胡说八道。

[cmdOptionKana]

用计算机可以计算得很快，但是你还是要学数学，你的数学知识丰富了，触类旁通能解决很多问题。编译原理也一样，有没有这个基础知识，写程序时的思维层次就不一样，“AI 能做” 与 “你自己具备知识” 不矛盾，也不能简单替代。

[James369]

另外，AI 的崛起也从某些方面降低了算法的门槛，很多传统算法都被机器学习干趴下了，传统算法结果和精度也没有 AI 那么好。
你甚至可以不需要知道很多传统算法基础。比如搞视觉的，你可以不需要知道太多原理，如色彩 /频谱 /变换 /滤波等等，就可以开始用数据训练了。

[fox0001]

@James369 #2 把“计算机语言”定义为“自然语言”的一个子集，我表示不理解。一般会认为是两个东西，都是“语言”的子集。

我明白你的意思。只是大家交流时，会以统一的知识去交流，避免歧义，并且更高效。这是“学习”和“知识”的其中一个作用吧。

[xabcstack]

原来就是复杂一点的字符串匹配

[liveoppo]

可能 GPT 并不懂编译原理，甚至不懂 1+1=2
只是因为喂给它的数据里面 1+1 后面总是跟一个 2 ，所以它就在 1+1 后面放一个 2 给你
我看过一个 GPT 原理的视频，我目前的肤浅理解是这样

[jackge0323]

只是提高了程序员的工作效率，他写的东西你看不懂，啥都是白搭。

[aotuman233]

计算机语言是牛魔的自然语言子集

[yuzo555]

人类弄明白大脑会产生意识的原理了吗？也没有。

但人类发现神经网络节点堆得越多，到一定程度就会发生质变。

个人理解：我相信计算机模拟的神经网络堆到一定程度，也会产生质变，产生思维，甚至产生意识。

[leimao]

https://leimao.github.io/article/OpenAI-GPT-Models/

[Ocean810975]

https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
可以看一下这个文章，讲了 LLM 的原理。

[ccxxjjjjjj]

上周刚听完几场语言和多模态大模型的讲座，这个博客中提到的几篇文章都是 GPT 技术发展的典型作品，正好看您推荐的博客巩固一下。

我自己的一些粗浅的见解，GPT 类模型大家称为“prompt”类模型。当 GPT-2 投喂了足够多的数据后，你给模型一个“prompt”，它可以自动给你接上回答。从 GPT-2 开始，基于这项技术的 tabnine 这类工具便开始流行开来。

如何设计一个“prompt”甚至也成为一项重要的工作。好的 prompt 可以导向你想要的答案。从 GPT-2 到 GPT-3 甚至现在 GPT-4 ，更多更好的数据，设计更规范的“prompt”都给这类模型带来了质的变化。当然，你也见过设计“好”的 prompt 可以让 GPT 越狱，产生 openai 不允许的暴力、恐怖和儿童色情答案。

因此它可能真的不懂如何如何将 A 语言转换为 B 语言。但他懂你的“prompt”，即有人曾经这样实现过“这个功能函数是将 A 语言转换为 B 语言”。它知道你要干什么，并且在见过足够多的样本后具有了这样的能力。

当然缺点就是，这类语言模型不是基于像正则匹配 / 语言范式 那样人为设计的规范训练的，因此结果可能是不可控制的。真实性和偏见性很多时候也无法调整，只能借助于更好的数据 + 更完善的微调来控制。

[ccxxjjjjjj]

话说回来，最近两个月 openai 和 Google 以及 meta 又去卷多模态的大模型(视觉+语言)去了。虽然还没有见过现象级产品，但是论文都发出来了。

[laqow]

你和它说“你给的数据是错误的”，它会说对不起然后跟你另外编一个

[takato]

以后 A.I 如果会跟你插科打诨就需要补基础了。现在其实么，有些东西我们不知道的话，其实很难问出来真正有价值的内容的，然而基础知识更适合结构性地查找。

[greygoo]

有了 chatgpt ，现在也不需要很多人学那么底层了

[wsseo]

怎么辨别是不是在胡说八道？

[autoxbc]

@liveoppo #8 我看过的视频里说，神经网络是对真实世界的映射，当喂给他一些数学运算后，最终他懂的是数学。在这个意义上，GPT 是懂编译原理的

[Leviathann]

概率模型，有什么懂不懂的，只有准不准

或者说，机器学习，可以类比人类的感觉，就是没有推理的过程的感觉

[killadm]

ida f5 + chatgpt ，感觉没汇编啥事了

[hikarugo]

想学难道不是兴趣驱动吗，大学时候我完全是靠着自己的兴趣去学习，想要知其所以然，而不是那么功利化，觉得有人能帮你做了自己就不学，如果什么东西都功利化，也许会走的很快，但是肯定走的不远，一点浅见

[Nugine0]

可能连 OpenAI 自己都搞不明白 GPT 的智能是怎么来的

[Huelse]

你总不能让他给你编译程序吧？我认为还是有本质差别的，得有前人完成类似工作，真让 gpt 去创造一些东西基本都是在胡编乱造。

[alne]

@ccxxjjjjjj #15 meta 刚推出一个 segment anything

[sillydaddy]

@Ocean810975 #13
感谢分享长文，这个对 LLM 的讲解相当的 step by step 了。

[jaywhen]

别的我不知道，我只知道用好它真的能提高我的下班速度

[NullPoint]

chatgpt 在训练的时候会加入代码作为训练数据，然后就出现了两种效果，一是可以理解机器语言，二是提高了逻辑性。

[luckykong]

"现在想想真的太幸运自己没有花时间在上面，那真是太浪费时间了，还好没碰。"

曾经，也有很多人觉着“真实太幸运自己没有花时间、金钱在芯片、材料上面，那真是太浪费时间和金钱了，还好没碰”。然后十几年之后，血流满地。。。

现在，又到了全人类觉着自己足够幸运没有花时间了，不知道几十年之后，会有什么经验和教训。。。

[InvincibleDream]

要是花点时间学一下说不定几十年后就是非物质技术遗产的传承人了

[insmoin]

ChatGPT 粗略理解就把单字接龙玩到极致同时，将巨量的知识尽可能压缩到极致，从而涌现出的智能。
压缩即泛化，泛化即智能

[winglight2016]

最近发现很多人觉得 chatgpt 太可怕了，什么都会，会取代自己的岗位，后面这个可能性是有的，但是也没那么快轮到程序员。前面这个就是对于 chatgpt 的背后原理不了解，或者不了解 chatgpt 的能力范围。

个人觉得，对于使用者来说，如果是自己专业范围外的问题，那么很有可能你是问不出什么深层次的问题的，这种情况下，chatgpt 能够很好的解答一些基础问题，而且不容易犯错，对使用者来说已经“惊为天人”了。

而如果是使用者自己专业范围内的问题，那么一旦问出比较复杂、实际的问题（ practical ）,chatgpt 经常性的会瞎编，或者半瞎编，你必须自己识别问题或者修改 debug 。

那么，对于 chatgpt 的使用场景，我觉得最合适的就是创意类的问题，有时候我就是需要“畅想”若干 ideas ，这个时候 chatgpt 就非常有用和实用。

[cnmilkmilk]

不能说“还好没学”，gpt 这东西就是个工具，你要是完全不懂只依赖工具那肯定会出问题的。
之前让 gpt 写一段 python ，注释什么写的漂漂亮亮的，结果就是无法运行，还得人去 debug 。人要是不懂的话就给它诓过去了。

[towave]

gpt 乱答的情况太多了

[murmur]

@wsseo 为什么要辨别，有人在乎抖音和今日头条上的东西是真是假么，gpt4 比今日头条写的好多了

[yitengkaisi]

chatgpt 是一个大型语言生成模型，没准人类的智力和逻辑这些都是从语言能力获得的。这东西确实挺可怕的，没准真能代替人脑。

[James369]

@yitengkaisi 确实，人的思考过程实际上就是在头脑中说话，一模一样

[JonyFish]

本质就是 if-else,只不过封装了