必得工坊BDSKB.COM

大模型原理 / 进阶

注意力机制:AI 怎样根据上下文理解一个词

视频:3Blue1Brown · Grant Sanderson时长:26:10中文笔记更新:2026-11-04

默认加载 B站官方播放器,不自动播放。若原站限制嵌入或网络不可用,请打开原视频;中文笔记仍可阅读。

播放器由第三方提供,加载本页时会连接 B站;切换原版会连接 YouTube。了解播放与隐私

读完,记住这三件事

中文重点笔记

看清 Q、K、V 各做什么,理解词元如何从其他位置读取信息。

  1. 同一词元的含义需要由上下文补充。
  2. 查询与键计算相关程度,经归一化得到权重。
  3. 值向量按权重汇总;多头可学习不同关联。

整理依据:原作者配套图文。这是本站简要导读,不是视频完整转录或逐字翻译。

必得工坊的观看建议

把“关注哪些上下文”变成一个可解释的计算过程,适合接着 Transformer 总览往下看。

建议基础:建议先看 Transformer 总览;理解向量和加权平均。

把理解,变成一个小练习

先想一想

示意图中的连线为什么不能直接当成模型给出某个答案的完整解释?

再动手做

写两句含“苹果”的话,一句描述水果、一句描述公司;圈出帮助区分含义的上下文,再手绘一张示意权重表,并注明它不是模型真实注意力。

本站原创练习,非原作者课程作业。

也可以让 AI 陪你练

请用“苹果”表示水果和公司两个例子,带我理解上下文、query、key、value。用很小的手工数字演示一次加权汇总,核对权重总和;必须说明数字是教学示意,不是对某个真实模型注意力的测量。

把这份笔记带走

包含中文要点、练习和来源,复制后可贴进自己的笔记或 AI 助手。

下载笔记(TXT)

可直接选中文本复制。文件使用 Markdown 格式,以 TXT 提供。

原作者与资料来源

中文导读与练习:必得工坊 · 2026-11-04 核验。视频版权归原权利人,本站通过官方播放器展示,不重上传视频。封面为本站自制导读图;收录不表示原作者与本站有商业合作。