以 Transformer 的共同主干为基础,按模块拆解主流模型,再横向比较不同厂商在容量、稀疏、压缩、上下文、推理和部署上的设计考量与资源取舍。
当前状态:规划中阅读地图。 尚未开始逐模块源码阅读,未形成任何家族的完整架构结论;不宣称已下载、已读或已实现任何家族模型。
这不是“逐行读完所有模型源码”的项目,而是:
- 公共骨架 + 模型特有模块;
- 模块级理解优先于逐行摘抄;
- 官方源码证据优先于直觉;
- 横向架构比较优先于版本新旧和参数规模排名;
- 每篇专题只解决一个模块或一个机制。
家族入口(全部规划中)
| 家族 | 入口 | 状态 |
|---|---|---|
| Qwen | Qwen 源码图谱 | 规划中 |
| DeepSeek | DeepSeek 源码图谱 | 规划中 |
| 混元 | 混元源码图谱 | 规划中 |
| Moonshot | Moonshot 源码图谱 | 规划中 |
| 智谱 | 智谱源码图谱 | 规划中 |
公共阅读骨架
每个家族后续都按实际源码情况选择以下模块,不要求全读:
- config、Tokenizer、Chat Template;
- Embedding 与位置编码;
- Attention、QKV、Head、KV Cache;
- Norm 与残差结构;
- Dense FFN 或 MoE;
- 顶层 forward 与权重加载;
- Generation、Decode 与 Cache 状态;
- 量化、稀疏、压缩、MTP 等特有机制;
- 推理部署与 Kernel 接口。
证据要求
每篇正式专题未来至少保留:
- 官方模型卡、官方仓库与固定 tag / commit;
- config 字段 → 源码类 / 初始化参数 → 权重 key 的对应关系;
- forward 和 cache decode 的关键张量流;
- 已确认事实、结构推断、官方明确设计意图和待核实项的区分;
- 条件允许时,一个最小实现、最小探针或受控官方对照。
不用“官方 config 写了”直接推出训练资源、质量或性能结论。
横向比较协议(未来专题方向,不新建空文章)
- GQA / MQA / MLA / SWA / 稀疏注意力:分别压缩什么,付出什么代价;
- Dense FFN / MoE:总参数、激活参数、路由与负载均衡;
- RoPE / Partial RoPE / YaRN:位置表示与上下文扩展;
- KV Cache:全量、低秩、跨层复用与稀疏索引;
- Engram:额外记忆如何进入模型;
- MTP / DSpark / 普通投机解码:草稿、验证与缓存回滚;
- 量化与部署:权重存储、激活精度、显存、带宽和 Kernel 支持;
- 不同资源约束下,哪些压缩可以放松,哪些稀疏机制仍值得保留。
横向比较必须区分四类证据:官方明确说明的设计动机;config / 源码可确认的结构事实;个人推断;真实实验结果。
与主线的关系
本图谱是与手搓 LLM 并列的顶级长期阅读栏目,独立于 I 阶段主线,可与主线并行沉淀、按需展开;不要求所有家族同时开工,不改变当前主线优先级,也不开启“读完所有主流模型”的无限承诺。