今天和 Kimi 脑暴,从 DeepSeek 的配置聊到了残差流,又从残差流聊到了通道划分,最后聊到了一个有点远的问题:如果权重也是一种语言,它的高级形式会是什么?

这些想法还没有经过实验验证,但背后其实有一条很连贯的主线:

怎样让有限的残差流承载更多有效的计算?又怎样让这些计算从不可读的数值组合,逐渐变成可解释、可编辑、可回溯的能力模块?

这篇文章先把这条思路留下来。

一、残差流更像 LLM 的数据总线

我之前理解残差流,更多停留在 shape 上:不同组件之间传递的张量,为什么最后还能做加法?

现在我觉得,残差流更像是 LLM 这个操作系统里的逻辑数据总线。

假设一个张量的形状是:

(B, T, C)

其中 B 是 batch,T 是当前序列位置数,C 是残差流的宽度,也就是 hidden_dim。

在标准的 Pre-Norm Block 中:

x = x + Attention(norm(x))
x = x + FFN(norm(x))

Attention 和 FFN 最终都要把结果投影回 C,这样才能与原来的 x 做加法。

但它们内部完全可以自由变化:

Attention:拆成多个 head,做注意力计算,再合并投影回来
FFN:先扩展到更大的中间维度,经过激活,再投影回来
MoE:把 token 分给不同专家,再把专家输出组合回来

所以,残差流的宽度约束的是组件之间的接口,并不限制组件内部怎样计算。

这个比喻很好用:

  • 权重像程序;
  • 残差流像运行时传递状态的数据总线;
  • 各组件从总线上读取、计算,再按规定接口把增量写回去。

这里的 hidden_dim 是逻辑特征宽度,不等于硬件显存带宽。数据总线只是帮助理解接口和数据流的比喻,不能直接拿来做硬件性能换算。

二、如果数据总线不能无限加宽,接下来怎么办

现在的模型看起来越来越复杂,但大多数仍然没有逃出 Transformer 的主干。

真正变化的是主干内部:Attention 怎样压缩,KV 怎样表示,FFN 是否改成 MoE,位置如何编码,上下文如何扩展,量化与推理成本怎样控制。

但有一个问题始终存在:hidden_dim 不可能无限增大。

它受到硬件、算力、显存、通信和训练成本的共同制约。于是我开始想,除了不断加宽这条数据总线,还有一个方向:对这条总线进行更精细的划分。

假设 C=256,是否一定要用一个统一的 FFN 处理全部 256 维?能不能把它拆成 4 组,每组 64 维,分别经过不同的 FFN?

形式上看,它可以写成:

x₁, x₂, x₃, x₄ = channel_split(x)

y₁ = FFN_1(x₁)
y₂ = FFN_2(x₂)
y₃ = FFN_3(x₃)
y₄ = FFN_4(x₄)

y = concat(y₁, y₂, y₃, y₄)
x = x + out_proj(y)

如果不同通道组真的可以承担不同功能,那么通道划分就可能带来一种新的条件计算结构。

通道划分越细,理论上可组织的并行组件就越多。一个分支处理位置,一个分支处理语义,另一个分支处理其他模式,听起来很有吸引力。

但这里有一个不能跳过的问题:语义真的会按照我们指定的通道号自然隔离吗?

三、通道可以切开,语义未必按切线分开

残差流中的每个通道只是一个特征维度。

Linear、Attention、FFN 都在不断混合这些维度,所以位置、句法、语义、数值和上下文很可能是分布式表示的,而不是:

前 64 维负责位置
接下来 128 维负责语义
剩下维度负责其他能力

如果我们硬性地预先指定每个分组的职责,可能会切断跨组信息交流。

尤其是位置。RoPE 作用在 Q/K 的部分通道上,不是简单地在残差流里划出一块区域,交给一个“位置 FFN”。如果要为位置专门划分通道,需要先定义:位置如何进入注意力,怎样与内容交互,怎样通过实验判断 64 维是否真的够用。

更合理的做法也许不是先规定每组负责什么,而是:

  1. 先让模型自己学习;
  2. 用探针检查不同通道组是否自然形成分工;
  3. 再比较硬分组、随机分组、可学习分组和共享混合的效果。

分组结构也不等于整个模型都没有先后依赖。通常仍然需要:

分支处理 → 合并 → 进入下一个 Block

而且分支越多,不一定越快。每个分支的 GEMM 会变小,硬件利用率可能下降;输出保存、合并与同步也有成本。小模型上,调度开销甚至可能比计算本身更显眼。

所以要把两个问题分开:

分支结构是否有效
分支结构是否提速

它们不是一回事。

四、一个值得验证的小实验

如果以后要验证这个想法,我会先做一版非常克制的对照实验。

比如固定 C=256,保留以下三组:

Baseline:
普通 Dense FFN

Grouped:
4 组 × 64 维,每组独立 FFN,最后 concat + out_proj

Grouped + Shared:
4 组 × 64 维,同时保留一个共享 FFN 或周期性的全局混合

实验时尽量控制:

  • 相同训练数据、训练步数和优化器;
  • 尽量匹配总参数量和激活计算量;
  • 相同的位置任务、语义任务和 held-out 数据;
  • 相同的测量环境。

然后分别观察:

  • held-out loss 和任务能力;
  • 位置外推能力;
  • 语义任务表现;
  • 参数量与激活 FLOPs;
  • 实际吞吐、显存和分支调度开销;
  • 不同随机种子的波动。

如果想研究“64 维是否足够”,也只能得出当前模型、数据与任务范围内的结论,不能直接推广成所有模型都只需要 64 维。

先在小模型上验证结构,再决定是否扩大到 0.6B。0.6B 可以作为实验床,但如果从随机初始化完整预训练,也不能把它当成没有成本的小玩具。

我认为这个实验最有价值的地方,不是预先证明“切分一定更好”,而是回答:

在相同参数与计算预算下,通道分组能否形成比统一 FFN 更有效的条件计算结构?

即使最后发现硬切分无效,也能帮助我们理解:问题究竟来自分组本身,还是跨组通信不足,或者只是硬件调度代价太高。

五、从通道分组,想到权重的“高级语言”

这条思路继续往前,就碰到了另一个更大的问题:权重到底能不能被读懂?

今天的权重,对大多数人来说像机器码。单个权重给一个数值,我们很难说出它意味着什么。

但单独看 CPU 中的一个晶体管开和关,也看不出什么意义。只有一组晶体管组成与门、或门和触发器以后,计算结构才开始变得可理解。

权重也许有类似的层级:

单个权重
→ 权重向量
→ 激活方向
→ 神经元或注意力头
→ 跨层计算电路
→ 可观察的模型行为

一组权重的高维组合,可能形成一个语义特征。例如某组参数满足:

  • 某类输入出现时,对应激活明显增强;
  • 其他输入出现时,激活很弱;
  • 压低这个方向后,某个行为明显消失。

那么这组参数或这个激活方向,就可能是某种可解释的“门电路”。

但这里仍然需要谨慎:探针相关不等于因果机制。

一个方向与某类行为相关,不代表它就是这个行为的开关。还需要做消融、干预和因果验证,确认它是否真正参与了对应计算,并检查其他能力有没有被误伤。

语义也可能叠加在同一个神经元或方向上,不一定存在一一对应的语义开关。

所以,可解释的单位未必只是“几个权重”,还可能是:

  • 权重向量;
  • 低秩子空间;
  • 激活方向;
  • 注意力头;
  • MLP 神经元组合;
  • 跨层计算电路。

六、高级权重语言,可能不是把权重翻译成代码

如果机器码中的每条指令都有相对稳定的语义,而单个权重通常没有独立语义,那么所谓“高级权重语言”,大概率不是把每个参数翻译成一句自然语言。

它更可能是一种能力抽象。

我们不再主要描述:

第 17 层第 386 个参数等于多少

而是描述:

这个模型具有什么能力
这个能力来自哪个模块、数据、训练或适配器
怎样增加、限制、组合或撤销一个行为
修改后需要满足哪些行为约束

一种未来的声明可能更像:

capability JavaNullCheck {
    implementation: adapter/java-null-v1
    verify: tests/java-null-check
    preserve: general-code-baseline
    rollback: disable adapter/java-null-v1
}

这时,开发者操作的是:

  • 能力模块;
  • 架构与配置;
  • 数据与训练血缘;
  • LoRA / adapter / task vector;
  • 行为约束;
  • 评估协议;
  • checkpoint、diff 与回滚记录。

编译器可能对应训练、微调、合并、剪枝和权重编辑算法;机器码对应权重张量;运行时对应推理引擎;版本控制对应 checkpoint、adapter diff 和数据血缘。

而评估系统则像类型系统和单元测试:检查我声明的能力是否真的被满足。

最难的不是发明一套语法,而是建立可靠的语义保持:

我只想增加能力 A,编译之后,模型是否真的增加了 A,同时没有破坏 B、C、D?

如果这个问题不能回答,所谓权重编程仍然只是碰运气。

七、它未必取代传统代码,但会改变工程分工

权重语言擅长感知、语言、图像和模糊模式,也擅长表达那些很难逐条写成规则的隐式行为。

传统代码擅长精确控制、确定性算法、权限、事务、并发和资源管理。

所以我更倾向于认为,未来是一种混合结构:

权重负责可学习的行为
代码负责控制、验证和确定性边界

高级权重语言真正可能改变的,不是让我们彻底抛弃传统编程,而是让模型能力开始像普通工程模块一样,被组织、编辑、验证和回滚。

八、把这几件事放回同一张图

今天这些脑暴看起来跳得有点远,但其实能连成一条线:

残差流是数据总线
→ 数据总线的宽度有限
→ 可以尝试通道分组与条件计算
→ 分组或激活方向可能形成可解释特征
→ 可解释特征可能进一步成为可编辑的能力模块
→ 高级权重语言需要评估、版本和回滚作为基础

这条线上,每一步都有大量未验证的问题:

  • 硬通道分组是否有效?
  • 分组会不会自然形成语义分工?
  • 激活方向与语义之间是否存在稳定的因果关系?
  • 编辑一个子空间后,其他能力会不会受损?
  • 评估能否真正约束能力编译的结果?

所以这篇文章不是结论,只是一张后续研究地图。

但我越来越觉得,真正值得追求的并不只是“把模型训练出来”,而是逐渐获得这几种能力:

看懂它怎样计算,验证它为什么有效,解释它形成了什么特征,最后再用可控的方式编辑它。

如果哪一天这些能力真的连成闭环,权重就不只是训练结束后保存下来的一堆数字,而可能成为一种全新的工程材料。

而我们现在从残差流、通道分组和评估系统开始做的小实验,也许就是在为那一天的“高级权重语言”,先补上几个最底层的接口。