读完,记住这三件事
中文重点笔记
先建立整条计算流程,再区分词元、向量、注意力与输出概率。
- 文本切成 token 后映射为向量。
- 注意力与前馈层反复变换表示,融入上下文。
- 输出概率分布,经采样并重复计算生成后续文字。
整理依据:原作者配套图文。这是本站简要导读,不是视频完整转录或逐字翻译。
必得工坊的观看建议
把大模型拆成能逐步理解的环节,之后学习提示词、上下文和生成参数时,就能知道这些词大致作用在哪一层。
建议基础:知道神经网络基本结构;向量与矩阵的直觉有帮助。
把理解,变成一个小练习
先想一想
一次生成过程中,模型是在更新训练参数,还是在用已有参数计算下一个 token?
再动手做
自己画一张“文本→token→向量→网络→概率→下一 token”流程图,每个箭头写一句作用;把“训练”和“生成”分别放在图外解释。
本站原创练习,非原作者课程作业。
也可以让 AI 陪你练
请检查我画的“文本→token→向量→网络→概率→下一token”流程。先让我解释每个箭头,再指出错误。用一小段中文举例,但不要把示意切分冒充某个真实分词器结果;如果使用真实分词器,要注明名称和实际输出。
把这份笔记带走
包含中文要点、练习和来源,复制后可贴进自己的笔记或 AI 助手。
可直接选中文本复制。文件使用 Markdown 格式,以 TXT 提供。
原作者与资料来源
- 【官方双语】GPT是什么?直观解释Transformer | 深度学习第5章 ↗B站发布者:3Blue1Brown · 官方账号;译制署名见原视频。
- Transformers, the tech behind LLMs ↗原版作者:Grant Sanderson / 3Blue1Brown。
- 作者配套图文与互动解释 ↗配套原文日期:2024-04-01;笔记依据本页整理。
中文导读与练习:必得工坊 · 2026-11-04 核验。视频版权归原权利人,本站通过官方播放器展示,不重上传视频。封面为本站自制导读图;收录不表示原作者与本站有商业合作。