这是一个创建于 258 天前的主题，其中的信息可能已经有所发展或是发生改变。
本文以 LLAMA 模型的代码实现作为参考（ LLAMA 的代码非常短，很适合拿来作为学习材料），结合代码，对 GPT 类大语言模型进行详细分析。
希望跟大家一起建立起对于大语言模型的代码级别的认知。
内容包括：
- 文本生成逻辑（词嵌入、温度参数及 top-p 参数）
- 模型结构
- 注意力机制
- 其他（前馈神经网络、归一化、掩码）
全文请点击链接： https://brightliao.com/#/NDg4NTA5
目前尚无回复
Select Language