这个系列记录我读《从零构建大模型》的过程。规则不变:写下来的必须是我自己搞懂的,没懂的如实写“没懂”。这一章换了个学法——以前是我读代码、AI 答疑;这次我先把自己的理解讲一遍,让 DeepSeek 指错。
一、这一章的难点不在架构,在形状
翻完整章,大部分时间花在 shape 上——不是架构上。
同一个错误我犯了三次。
第一次是把 tok + pos 当成 (50257, 768)。第二次是把 pos_emb(arange(T)) 算成 (1024, 768, 768)。第三次是把 out_head(x) 的输出当成 (50257, 768)。
三次的毛病一模一样:把“表的形状”当成了“输出的形状”。
第二次犯的时候我说过一句话:“但是 tok + pos 矩阵在代码中的形状是 (50257, 768)”。被顶回来:如果真是这个形状,那 tok_embeds + pos_embeds 这一行当场就报错——右对齐之后 50257 和 4 既不相等,也没有一个是 1。
代码能跑起来,就是答案。
后来我给自己留了一句问法,比背规则管用:这个张量的数值从哪来?来自另一张表(weight),那是参数;来自前一层算出来的,那是激活值。
规则还是得记两条。nn.Embedding(n, d) 的参数是 (n, d),输出是「输入形状 + (d,)」——那个 n 只决定合法索引范围,不进形状。nn.Linear(in, out) 的参数是 (out, in),输出把最后一维从 in 换成 out。
(图书馆那个比喻把我钉住了:馆里有五万本书,不代表你借出五万本。)
顺手把整条 forward 走了一遍。in_idx 是 (B, T),tok_embeds 变成 (B, T, 768),pos_embeds 是 (T, 768),相加之后还是 (B, T, 768)。然后是 dropout、十二层、最后归一化——形状一动不动。只有 out_head 把最后一维换成 50257。
九行代码,主干只变过两次形状。中间那十二层变的是内容,不是形状。这个认识后来很实用:换上一个真实实现就顺手跑一遍,形状没变就是接对了。
二、Embedding:我懂的只是“查表”这个词
(1024, 768, 768) 那一下之后我才意识到,我懂的只是“查表”这个说法,没懂它和输出形状的关系。
查表不是乘法,这点我倒是没搞错。括号就是调用,底层是按行取数,weight[idx] 和 emb(idx) 等价,一次乘法都没有。真正的魔力在那张表的 3800 万个数字上,操作本身平凡得很。
“等价于 one-hot 矩阵乘”这个说法我以前当实现细节记住了。现在改了个更准的:one-hot 是 Embedding 的固定版。数学上确实一样——一个 1 去挑一行;但那张表是写死的、学不了的。差别不在数学形式,在可不可学。
三、广播:我只会二维
二维广播我早懂,多维一直没想明白。我的原话是“我目前只能理解 2 维的广播,多维的就不行了”。
后来是被一个画面带过去的:(B, H, T, T) 就是 B×H 张 T×T 的表,摞成一叠。右对齐这个动作,本质上是把形状切成两段——右边重叠的那几维是“纸里长什么样”,左边多出来的维是“有几张纸”。
份数对不上就复印,纸里的形状才逐维判“相等或有 1”。所以 (2,3,4) + (2,3,1) 里,前面那个 2 根本不用想,剩下就是 (3,4) + (3,1)——我早就会的东西。
还有个更好用的招:拍扁。(2,3,4) 加 (4,),等价于把前两维拍成 6 行、做一次二维广播、再拍回来。因为逐元素运算不跨位置,reshape 也不改数据顺序。
另外两条一起记下。一是只有 1 是通配符,0 不是:(3,0) 和 (1,1) 能广播出 (3,0),(3,0) 和 (1,4) 直接报错。二是结果维不是“取 max”,是“取那个不是 1 的值”——长度为 0 的轴就是反例,max(0,1) = 1 是错的。
四、位置编码:位置就是一个数,为什么表要 768 列
行数我懂:context_length 就是位置表能表示多少个位置。这也是“上下文长度”这个词的真实含义——超过就索引越界。
列数我卡住了。位置就是一个数(0、1、2……),表不该是 (1024,) 吗?
堵死这条路的是 LayerNorm。假设位置只贡献一个标量,也就是给那个位置的 768 个通道加同一个数——那 LayerNorm 减均值的时候会把它原样减掉。而 TransformerBlock 的第一件事就是 LayerNorm,所以这个信号进第一层就没了,等于没加。
这个推导本身很直接:mean(x + s) = mean(x) + s,所以 (x+s) − mean(x+s) 里 s 直接消掉。
位置向量必须在通道维上有差异,才能活着穿过 LayerNorm。
顺带解开一个我一直觉得别扭的问题:位置 0 在不同句子里内容完全不一样,pos_emb[0] 到底在学什么?答案是它学的是所有样本在那一位置上的共同分量——个别 token 带来的噪声在平均里互相抵消了。
我记的比喻是座位和坐的人。tok_emb 是坐的人,今天张三明天李四;pos_emb 是第一排靠窗这个座位,换谁坐,属性不变。
五、两个叫 drop 的地方,我认错了一个
drop_emb 我第一眼就认成了因果掩码,原话是“这行其实就是在做因果掩码的步骤”。
被顶回来才想起:掩码在 MultiHeadAttention 里面,作用在 (T,T) 的分数矩阵上,是固定的右上三角、softmax 之前塞负无穷;drop_emb 是 Dropout,逐元素随机置零、只有训练时才生效。两件事唯一的共同点,是名字里都带个“遮”的意思。
drop_shortcut 这个我没认错。名字里带 shortcut,我反而觉得不对劲,去问了一句“不是快捷连接吧,感觉是第三章那个把元素置零的操作”。确认下来它确实是 Dropout,站在残差支路上(GPT-2 原生代码里叫 resid_dropout)。真正的快捷连接是 shortcut = x 和 x = x + shortcut 那两行——名字里的 shortcut 说的是位置,不是身份。
这么来回两次之后,我把书里的命名规律记成“动作 + 位置”的格式:drop_emb 是对 embedding 输出做 drop,drop_shortcut 是对残差支路做 drop。动作才是本质,前缀只是主语。
还有一处顺序值得单独记:dropout 必须在相加之前。
这里有个名字上的误会要先拆掉。drop_shortcut 丢的不是 shortcut,它丢的是支路输出(norm1 → att 那段的结果);名字里的 shortcut 只标位置——它站在残差这条路上。
所以先 drop_shortcut(x) 再 x = x + shortcut,被置零的只有支路,干道(shortcut 里那份原始 x)一个元素都不会动。
反过来写就麻烦了。问题在于相加之后,“主干”这个身份就没了:x = x + shortcut 一执行,支路和干道已经合成同一个张量,再也分不开。此时 dropout 打上去,等于把干道也一起打了洞,而且分不清哪个洞打在谁身上。
用三个数看一眼。干道是 [1.0, 2.0, 3.0],支路输出是 [0.5, 0.5, 0.5],假设第 1 位被置零:正确顺序得到 [1.56, 2.0, 3.56],干道那个 2.0 完好;错误顺序先把两者加成 [1.5, 2.5, 3.5],再 drop 就成了 [1.67, 0, 3.89]——干道贡献的那 2.0 跟着一起没了。(0.56 是保留项乘过 1/(1-p) 之后的值。)
残差的意义是“让原始 x 原封不动地传下去”,所以那个 2.0 必须活着。梯度上是同一回事:y = x + f(x) 对 x 求导是 1 + f'(x),那个 1 就是梯度的高速公路;写成 y = drop(x + f(x)),导数里就多出一个随机的 0 掩码。
顺带问了一句:如果 forward 里干脆不调用 drop_shortcut 会怎样?答案是形状不变,eval 下完全没影响(推理时它本来就是恒等的),只有训练时少一层正则化,症状是训练 loss 更低、验证 loss 更高。所以判断标准永远是验证集。
六、softmax 不是归一化
我的原话是:“归一化不是 softmax 就可以了么,为啥这里要增加一个 LayerNorm 对象来做这个事情。”
问题出在“归一化”这三个字上——中文里它至少指四件事,我把它们当成了一件。softmax 让加起来等于 1;min-max 缩到 0 到 1;标准化和 LayerNorm 让均值 0、方差 1。softmax 归的是“和”,LayerNorm 归的是“中心和宽度”。两个正交的约束,谁也替不了谁。
真正说明问题的是幂等性。把 [1, 2, 3] 反复 softmax:第一次得到 [0.09, 0.24, 0.67],第二次 [0.25, 0.30, 0.45],到第四次基本就是 [1/3, 1/3, 1/3] 了。每套一遍就更平一点,最后信息死光。而 LayerNorm 套第二遍几乎不动,因为输出已经达标。
所以 LayerNorm 能在十二层里出现 25 次,softmax 只能出现一次——而且那一次还在模型外面。GPTModel.forward 里根本没有 softmax,它返回的是原始分数。
还有一条我原来没往这儿想:softmax 和残差不兼容。残差要求修改量和 x 同尺度、还得有正有负,才能表达“把某个特征调低”;softmax 的输出全为正、总和恒为 1,加回主干等于只能往上加,总量还固定。
七、两个 LayerNorm:不是冗余,是残差逼出来的
残差连接我原来理解得含糊,自己捋了一遍才想通:它把“替换”变成了“累加”。
没有快捷连接的时候,下一层的输入就是上一层的输出——x₁ = f₁(x₀)、x₂ = f₂(x₁),旧值被覆盖掉了。加上快捷连接之后变成 x₁ = x₀ + f₁(x₀)、x₂ = x₁ + f₂(x₁),上一层不再被覆盖,而是留下来再追加一点。
展开就一目了然:x₃ = x₀ + f₁(x₀) + f₂(x₁) + f₃(x₂)。原始的 x₀ 一直在里面,每一层只是往总和里追加一个增量。所以 x 不是被“参考”了一下,是真的留下了。
要精确一点:追加的不是 x 的一部分,是由 x 算出来的新东西。同一个 x 走了两条路——一条原样传下去当原件,一条经 norm 和 att 变成修改意见,最后原件加修改意见。
不过这个“保留”是加法意义上的。y = x + f(x) 里 x 的分量确实原样进了 y,但没法再从 y 里把 x 单独取出来,两者已经加在一起了。前向意义上 x 保留了,分离意义上它已经和 f(x) 不可分——这也正是前面“dropout 必须在相加之前”那条的来历:dropout 看到的是合并后的张量,它没能力区分哪个数是谁带来的。
(为什么“加”比“替换”强,顺手记两条:y = x + f(x) 对 x 求导是 1 + f'(x),那个 1 是梯度的高速公路;另外如果 f 学到输出接近 0,y ≈ x 就成立——恒等映射是个平凡解,所以“深”至少不会比“浅”更差。)
我一开始觉得一个 block 一个 LayerNorm 就够了,还给 LayerNorm 列了两个“目的”,其中一个是幂等。
那个地方我列错了:幂等是性质,不是目的。目的是把子层的输入拉回标准尺度;幂等只是保证“反复归一化”这件事本身安全——要是它像 softmax 那样越套越平,25 次调用早把信号衰减没了。
真正需要两个的原因在残差。如果 x 已经归一化(方差 1),子层输出的方差是 0.25,那 x + f 之后方差变成 1.25。均值没问题(0 加 0 还是 0),但方差会累加。一个 block 加两次,十二层就是 24 次,粗算是 1.25 的 24 次方——两百多倍。不重新归一化,尺度早就飞了。
还有一处值得单独记:shortcut 存的是归一化之前的 x。归一化只作用在送进子层的那条支路上,残差干道从头到尾都是原始的。
这一条同时解释了 final_norm。每个 block 的出口都是没归一化的残差和,十二层堆完 x 还是漂移的,所以最后得补一刀。LayerNorm 的总数是 25 而不是 24,就是这个“1”的来历。
八、FFN:我以为就是两次矩阵乘
看完 FeedForward 的代码,我第一反应是“就这?”。768 升到 3072,过个 GELU,再降回 768。我当时说的话是:“看起来像是 (768, 4*768) @ (4*768, 768) 的操作。”
它确实就是两次矩阵乘。但 GELU 夹在中间,让它彻底不再是矩阵乘链。
如果没有 GELU,两层线性可以直接乘起来合成一个矩阵——(768, 3072) 乘 (3072, 768) 得到 (768, 768),一个普通的单层线性。参数量对比:两层加起来 4,718,592,等价的单层只要 589,824。八倍参数,换来一个用八分之一参数就能表达的映射。 所以扩张本身不产生表达力,“扩张 + 非线性”才产生。
那 3072 到底买到了什么,我手里有两个说法。
一个是几何的:每个中间神经元相当于在 768 维空间里划一刀,输入只有 768 维,但你有 3072 把刀去切它——能区分的模式数量由中间宽度决定,不由输入宽度决定。
另一个是“键值记忆”:有篇论文发现 FFN 近似于一个记忆库,W1 的每一行是一个 key,GELU 负责稀疏化,W2 的对应列是 value。3072 个神经元就是 3072 个槽位。旁证是后面有研究靠改 FFN 权重来改模型“知道”的事实,改注意力层没这个效果。
这个视角我是接受了,不是验证了。下面挂账。
4 倍是经验值不是定律:原始 Transformer 和 GPT-2 都是 4 倍,Llama 换成 8/3 × d_model,因为它用了 SwiGLU,要三个矩阵。
顺带一笔账:每层里 FFN 的参数是注意力的两倍(4.72M 对 2.36M)。所以“Transformer 的主角是注意力”这个印象,在参数占比上是不成立的。
九、GELU:ReLU 的两个问题,我记错了一个
我先讲了自己的理解:ReLU 有两个毛病,负数全是 0,还有 0 点不可导。
第二个被否了——连续分布下输入恰好等于 0 的概率是零,框架还用次梯度兜底,这不是真问题。
真问题在第一个,而且比我说的严重:不是“负数是 0”,是整个负半轴的梯度恒等于 0。半条数轴上全是 0,输入长期落在左边的那批神经元就永久死了。放在 FFN 里,死一个就是浪费一个记忆槽位。
GELU 的导数在负半轴不是一刀切:x = 0 处是 0.5,x = -0.25 处是 0.30,x = -0.5 处是 0.13,到 x = -0.75 掉到 0.0008,再往左就翻负号了。而 ReLU 在这整段上全是 0。
三件事。GELU′(0) = 0.5,光滑,没有折角;−0.75 到 0 这段负区间里梯度是正的、而且不小——这才是“负数也参与学习”的准确意思;但过了 −0.75 梯度变号、绝对值一路衰减到 0。
所以它没解决梯度消失,只是把硬截止换成了软衰减。
十、163M、124M,和一段胡话
模型第一次跑通,打出来两个数。
参数量是 163,009,536,拆得干干净净:tok_emb 38,597,376,pos_emb 786,432,十二层 TransformerBlock 一共 85,026,816,final_norm 1,536,out_head 38,597,376。
但 GPT-2 论文说的是 124M,差 38.6M,正好是 out_head 那一块。书上后面会讲:GPT-2 做了权重绑定,out_head 和 tok_emb 共享同一份内存。163,009,536 减掉 38,597,376 就是 124,412,160。两个 embedding 加起来占了总量的 47%,这就是绑定能省下那么多参数的原因。
然后是生成。输入 Hello, I am,出来的是:
Hello, I am Featureiman Byeswickattribute argue
这是对的,不是 bug。参数全是随机数,模型根本没训过,整条链路就是随机查表、随机变换、随机打分、argmax 挑一个。
有个细节容易理解偏:输出看起来像英文单词,不是模型懂英语,是词表里大部分 token 本身就是英文片段。argmax 在五万个候选里随便挑,挑到的恰好长得像词。
这段留作第五章的对照——同一份代码、同一个 prompt,只有参数不同。
十一、如实记录:我还没通的地方
- 笔记 03 留的那份回炉考卷,我没做。手推多头全链路这件事还欠着,这一章读完,账没还;
- FFN 的键值记忆视角我是接受了,不是验证了。没自己动手看过
W1的行到底长什么样; - 整条前向还是不能脱稿。每个 shape 都能看懂,但还不能从空白纸写出来;
- 广播的多维情形现在有画面了,但还不到能秒推的程度,四维以上还是得画一下。
十二、三问式收尾
- 今天学了什么:形状(两条规则 + 三次踩坑)、Embedding 是查表不是乘法、广播里那个 1 代表共享、位置向量必须和 emb_dim 一样宽才能穿过 LayerNorm、softmax 不是归一化、两个 LayerNorm 是残差逼出来的、FFN 升维必须配 GELU、GELU 是软衰减、163M 和 124M 的差;
- 哪里还没懂:多头注意力的元素级推导、键值记忆没亲手验证、前向不能脱稿、四维广播还得画;
- 明天干什么:第五章,预训练。第一次让 loss 真的下降。
这一章的方法换了:先把理解讲一遍,再让 DeepSeek 挑错——上面几处认错都是这么露出来的。第三章那份回炉考卷还欠着,等第五章跑完预训练,回头一起还。
评论