必得工坊BDSKB.COM

大模型原理 / 进阶

Transformer 是什么?看懂 GPT 生成文字的流程

视频:3Blue1Brown · Grant Sanderson时长:27:14B站发布:2024-04-30中文笔记更新:2026-11-04

默认加载 B站官方播放器,不自动播放。若原站限制嵌入或网络不可用,请打开原视频;中文笔记仍可阅读。

播放器由第三方提供,加载本页时会连接 B站;切换原版会连接 YouTube。了解播放与隐私

读完,记住这三件事

中文重点笔记

先建立整条计算流程,再区分词元、向量、注意力与输出概率。

  1. 文本切成 token 后映射为向量。
  2. 注意力与前馈层反复变换表示,融入上下文。
  3. 输出概率分布,经采样并重复计算生成后续文字。

整理依据:原作者配套图文。这是本站简要导读,不是视频完整转录或逐字翻译。

必得工坊的观看建议

把大模型拆成能逐步理解的环节,之后学习提示词、上下文和生成参数时,就能知道这些词大致作用在哪一层。

建议基础:知道神经网络基本结构;向量与矩阵的直觉有帮助。

把理解,变成一个小练习

先想一想

一次生成过程中,模型是在更新训练参数,还是在用已有参数计算下一个 token?

再动手做

自己画一张“文本→token→向量→网络→概率→下一 token”流程图,每个箭头写一句作用;把“训练”和“生成”分别放在图外解释。

本站原创练习,非原作者课程作业。

也可以让 AI 陪你练

请检查我画的“文本→token→向量→网络→概率→下一token”流程。先让我解释每个箭头,再指出错误。用一小段中文举例,但不要把示意切分冒充某个真实分词器结果;如果使用真实分词器,要注明名称和实际输出。

把这份笔记带走

包含中文要点、练习和来源,复制后可贴进自己的笔记或 AI 助手。

下载笔记(TXT)

可直接选中文本复制。文件使用 Markdown 格式,以 TXT 提供。

原作者与资料来源

中文导读与练习:必得工坊 · 2026-11-04 核验。视频版权归原权利人,本站通过官方播放器展示,不重上传视频。封面为本站自制导读图;收录不表示原作者与本站有商业合作。