# Transformer 是什么？看懂 GPT 生成文字的流程

必得 AI 精选｜整理：必得工坊
视频作者：3Blue1Brown · Grant Sanderson
笔记核验：2026-11-04
说明：依据原作者配套图文整理的中文导读，不是视频完整转录或逐字翻译。

## 一句话导读
先建立整条计算流程，再区分词元、向量、注意力与输出概率。

## 三个要点
1. 文本切成 token 后映射为向量。
2. 注意力与前馈层反复变换表示，融入上下文。
3. 输出概率分布，经采样并重复计算生成后续文字。

## 必得工坊的观看建议
把大模型拆成能逐步理解的环节，之后学习提示词、上下文和生成参数时，就能知道这些词大致作用在哪一层。
建议基础：知道神经网络基本结构；向量与矩阵的直觉有帮助。

## 想一想（本站原创练习）
一次生成过程中，模型是在更新训练参数，还是在用已有参数计算下一个 token？

## 动手做（本站原创练习）
自己画一张“文本→token→向量→网络→概率→下一 token”流程图，每个箭头写一句作用；把“训练”和“生成”分别放在图外解释。

## 交给 AI 陪练
请检查我画的“文本→token→向量→网络→概率→下一token”流程。先让我解释每个箭头，再指出错误。用一小段中文举例，但不要把示意切分冒充某个真实分词器结果；如果使用真实分词器，要注明名称和实际输出。

## 来源
B站官方双语版：https://www.bilibili.com/video/BV13z421U7cs/
YouTube原版：https://www.youtube.com/watch?v=wjZofJX0v4M
作者配套原文：https://www.3blue1brown.com/lessons/gpt/
本站学习页：https://bdskb.com/ai/watch/transformers/
内容与译制署名详见原视频。请保留来源；本站与原作者无合作背书关系。