读完,记住这三件事
中文重点笔记
看清 Q、K、V 各做什么,理解词元如何从其他位置读取信息。
- 同一词元的含义需要由上下文补充。
- 查询与键计算相关程度,经归一化得到权重。
- 值向量按权重汇总;多头可学习不同关联。
整理依据:原作者配套图文。这是本站简要导读,不是视频完整转录或逐字翻译。
必得工坊的观看建议
把“关注哪些上下文”变成一个可解释的计算过程,适合接着 Transformer 总览往下看。
建议基础:建议先看 Transformer 总览;理解向量和加权平均。
把理解,变成一个小练习
先想一想
示意图中的连线为什么不能直接当成模型给出某个答案的完整解释?
再动手做
写两句含“苹果”的话,一句描述水果、一句描述公司;圈出帮助区分含义的上下文,再手绘一张示意权重表,并注明它不是模型真实注意力。
本站原创练习,非原作者课程作业。
也可以让 AI 陪你练
请用“苹果”表示水果和公司两个例子,带我理解上下文、query、key、value。用很小的手工数字演示一次加权汇总,核对权重总和;必须说明数字是教学示意,不是对某个真实模型注意力的测量。
把这份笔记带走
包含中文要点、练习和来源,复制后可贴进自己的笔记或 AI 助手。
可直接选中文本复制。文件使用 Markdown 格式,以 TXT 提供。
原作者与资料来源
- 【官方双语】直观解释注意力机制,Transformer的核心 | 【深度学习第6章】 ↗B站发布者:3Blue1Brown · 官方账号;译制署名见原视频。
- Attention in transformers, step-by-step ↗原版作者:Grant Sanderson / 3Blue1Brown。
- 作者配套图文与互动解释 ↗配套原文日期:2024-04-07;笔记依据本页整理。
中文导读与练习:必得工坊 · 2026-11-04 核验。视频版权归原权利人,本站通过官方播放器展示,不重上传视频。封面为本站自制导读图;收录不表示原作者与本站有商业合作。