系列规则不变:写下来的必须是自己搞懂的。但这一篇要破例一次——第三章(因果掩码 + 多头注意力)我自认只懂了八成,所以这篇除了笔记,也如实记录我“还没通”的地方。它是我回炉时的地图。
一、因果掩码:防的不是过拟合,是答案泄露
训练时,模型是一次性看到整句话的。如果不加掩码,预测下一个 token 时,答案就躺在输入里——模型只要学会“看下一个位置”照抄,loss 瞬间归零,什么都没学到。
我一开始把这理解成“过拟合”,Kimi 纠正了我:这比过拟合直接得多——是考试作弊。题目和答案同时发下来,考满分也没有意义。因果掩码保的不是防过拟合,是保证“预测下一个 token”这个任务本身有意义。
推理时不需要掩码:自回归生成时未来还没生成,天然看不到。所以掩码纯粹是为训练准备的——让训练时的看题条件和推理时保持一致。
判任何掩码方案,我后来只留了一条尺子:位置 i 的答案,不能出现在它能看到的地方。目标和掩码配不配,一句话定生死。
二、实现:负无穷,不是 0
书里其实演进过两版,而且用的是两张互补的表:
- 下三角(
tril,含对角线)是白名单——保留谁。第一版就是乘上它,再除以行和重新归一化; - 上三角(
triu(diagonal=1))是黑名单——抓谁。第二版把要遮的位置在 softmax 之前塞成负无穷。
两张表加起来是全 1 矩阵,同一个约束的两种说法。“床前明月光”五步展开:床 / 床前 / 床前明 / 床前明月 / 床前明月光。
我踩过的坑:掩码位置为什么不能填 0? 因为 softmax 里 e⁰ = 1——填 0 的话,这些被掩盖的位置照样参与归一化,稀释别人的概率。所以填负无穷:e^-∞ = 0,从归一化里彻底除名,反向传播时梯度也恰好为 0,从计算图里干净地消失。
而且填 0 的坏处不止“稀释”。如果这一行的合法分数本来是负的,比如 [-2, -5, 遮],填 0 之后 e⁰ = 1 反而是最大的那一项——被遮住的位置一口气拿走 87.6% 的权重,彻底反客为主。
所以“精确的 0 权重”只有一条路:在 softmax 之前塞负无穷。因为 softmax 对任何有限输入,输出都严格大于 0。
至于为什么必须遮在 softmax 之前:在之后清零会让那一行的和小于 1,context 变成被缩水的加权和,而且每个位置缩水的比例还不一样。补一次除法确实能救回来——但那个结果和“提前遮”在数学上完全等价,一步能做完的事没必要分两步。
三、dropout:它打破了“行和等于 1”
3.5.2 是给注意力权重加 dropout。nn.Dropout(0.5) 作用在全 1 矩阵上,输出只有 0 和 2.0 两种值——保留的元素被放大了 1/(1-p) = 2 倍。这就是倒置 dropout:它让每个元素的期望值保持不变。
但它顺手打破了我刚学会的那条规矩。某一行的注意力权重原本是 6 个 1/6,和恰好为 1;dropout 之后保留 k 个、每个变成 1/3,于是行和 = k/3。而 k 是抛硬币抛出来的(Binomial(6, 0.5)),所以行和可能是 0、0.33、1.33……
结论是:加上 dropout 之后,“注意力是加权平均(行和 = 1)”只在期望意义上成立,实际采样出来的那一行并不等于 1。只有推理时(model.eval())它才严格成立。
顺带两个小观察:nn.Dropout 有状态、没参数,eval() 之后是恒等映射——这就是推理前必须切 eval 的原因;而现代大模型(Llama 那一派)干脆把 drop_rate 设成 0,因为只有当一份数据只需要过一遍时,dropout 才可以扔掉。
四、多头:加的是视角,不是角色
3.6 节我花了一整天。
形状:d_out = 768、8 个头,每个头处理 768/8 = 96 维。
W_q 是共享还是独立? 这里有个障眼法:代码里 W_q 表面上是 class 的一个属性、一块平面矩阵,看起来共享——但实际上是把 8 个 (d_in, 96) 的小矩阵按列打包在一起。第 095 列服务头 1,第 96191 列服务头 2……逻辑上独立,物理上合并,为的是让 GPU 一次矩阵乘搞定 8 个头,而不是循环 8 次。
有个约定必须交代清楚,否则这块永远会混:上面说的是数学写法 (d_in, d_out),那时头是列块;而 PyTorch 的 nn.Linear 内部存的是 (d_out, d_in),转置过了,所以在代码里看到的是行块——同一件事,两套摆法。(笔记 02 里我就记过这个坑,这次又差点栽进去。)
还有一个容易记岔的细节:权重本身没有“头”这个维度。头维度是投影之后,把输出 (B, T, 768) reshape 成 (B, T, 8, 96) 再 transpose 出来的——多头维度是电流流过时折出来的,不是电阻上的刻痕。
一路推下来我最想记住的一条:切 token 是事故,切维度是设计。
形状体操:为什么非 transpose 不可
queries @ keys.transpose(2, 3) 这一行藏着两个“为什么”:
@只对最后两维做矩阵乘,前面所有维度一律当批次。 所以要让 8 个头各算各的 (T, T),就必须先把“头”从最后一维挪到位置维前面——transpose(1, 2)存在的唯一理由就是这个;keys.transpose(2, 3)是“最后两维互换”,把 (T, 96) 翻成 (96, T),点积的内维才对得上。
顺手记两个坑,都是一眼看不出来的:
dim=-1和dim=1在 4 维张量上不是一回事。attn_scores是(b, H, T, T),dim=-1是 key 轴(对);写成dim=1就是头轴,会沿 8 个头做归一化——不报错,但结果毫无意义;context_vec.contiguous().view(...)里的contiguous()不能省。transpose只改 stride、不搬内存,所以它之后view会直接拒绝工作(view只肯在内存连续时零拷贝);contiguous()才真正按逻辑顺序重排一份。
另外,构造函数里那句 assert d_out % num_heads == 0 不是装饰:head_dim = d_out // num_heads 用的是整除,除数不整除时会静默丢掉余数,然后在很远的地方以形状错误的形式炸掉。assert 的作用是把这个错误提到门口。
五、合并:拼接是摆回去,W_o 才是搅在一起
每个头算完自己的注意力,得到 (T, 96)。然后两步:
- concat:8 段 96 维首尾相接,摆回 (T, 768)——纯机械的形状操作,摆在一起,但互没说话;
- 输出投影 W_o (768, 768):做一次矩阵乘。
C[i][j] = Σ_k A[i][k] · B[k][j]——输出的每一维都是全部 768 维的加权和。头 1 的结果和头 8 的结果,在这一步才真正乘进同一个维度里。
所以:拼接负责“摆回去”,W_o 负责“搅在一起”。头与头的信息交互,发生在 W_o,不在 concat。
但有个边界要说准:W_o 的混合只发生在每个 token 内部,不跨 token。 (T, 768) @ (768, 768) 是每一行各自做一次混合,第 i 行的输出只用到第 i 行的输入。跨 token 的交流发生在注意力那一步(attn_weights @ V),不在 W_o。
六、回答我自己留下的问题
笔记 02 结尾我留了个问题:Q、K、V 真的够吗,投影会不会越多越好?
读完多头,答案清楚了:
- 三个角色是最小完备集——我去找(Q)、我被找(K)、我交货(V),少一个就塌方,多一个没槽位。角色表是满的;
- 但“更多投影”以另一种方式兑现了——不是加第四个角色,而是把每个投影的输出维度切成 h 份,每个头只拿到
d_out / h维,各看一个角度。多头就是“更多投影”的正确打开方式:不加角色,加视角,也不加参数; - 行业后来甚至反向操作:GQA/MQA 让多个头共享 K、V 省显存,DeepSeek 的 MLA 把 K、V 压成低秩矩阵。角色不动摇,头数、共享、压缩随便玩。
七、如实记录:我还没通的地方
- (T, d_out) @ (d_out, d_out) 为什么产生头间交互——这个代数步骤我是让 AI 展开到元素级才看懂的,不是我手推的。按我自己的标准,这笔账没还清;
- 整条前向还不能脱稿——从 Embedding 到 W_o 的每个 shape,我能看懂,但还不能从空白纸写出来;
- 所以第三章我会回炉。回炉考卷已经备好:
拿“床前明月光”5 个 token,d_in=4,d_out=4,2 个头(head_dim=2),从空白纸手写一遍完整前向:Embedding → Q/K/V → scores → ÷sqrt → 掩码 → softmax → ⊗V → concat → W_o。每个矩阵的 shape 和每个数的去向都写清。
写不出就再找断点。写得出,第三章才算真过。
八、三问式收尾
- 今天学了什么:因果掩码(防答案泄露,不是防过拟合)、负无穷掩码(e⁰=1 的坑)、dropout(会把行和从 1 打散)、多头(打包 W_q、切维度不切 token、concat + W_o);
- 哪里还没懂:头间交互的元素级推导、脱稿手推全链路;
- 明天干什么:第四章,GPT 架构整体拼装。看完全景,再回炉第三章——站在架构里回头看注意力,很多“为什么”会自己解开。
学习时长:3.6 节整整一天(除吃饭睡觉)。方法:让 AI 列出计算步骤,我手推每一步的矩阵 shape。亲测有效,推荐给你。
评论