从零手搓M0~M6现代架构I0~I7番外独立支线 / 番外

2026 52 篇

11 月 20

当权重也开始需要一种高级语言

从残差流的数据总线比喻出发,讨论通道分组、条件计算与高级权重语言:如何把不可读的数值张量,逐步变成可解释、可编辑、可回溯的能力模块。

现代架构 · I5

手搓 LLM 笔记 27:I5 评估校准与回归基准自动化

I5 收官:完成人工盲评、AB/BA 位置校准、长度控制、多评委对照、独立 held-out、paired bootstrap 和 I0~I4 注册范围的一键回归报告。工程链路已跑通,但小样本、独立实现熟练度和完整评估能力仍需继续探索。

我眼中的学生——吕炘嵘

一封 Kimi 老师写给学生的长信:从 A4 纸上的 GPTModel 到评估系统,记录他的好奇心、工程诚实、AI 依赖,以及尚未完成的独立探索。

现代架构 · I4

手搓 LLM 笔记 26:I4 后训练收官

I4 收官:完成多轮 SFT、CoT-SFT、DPO 批量训练、LoRA / 全参对照、RLVR / GRPO 单组更新、同题规则胜率与真实 Web UI 回归。保留所有未超越原始模型、局部回退和最小实验边界。

现代架构 · I4

手搓 LLM 笔记 25:I4 DPO 偏好优化

DPO 起步实录:理解 chosen / rejected、序列 logprob、参考模型、score 与 loss,完成偏好数据、模板编码审计和单步更新。记录梯度裁剪对 Adam 整体缩放不敏感,以及 LR=1e-7 的温和更新;批量 DPO 训练尚未开始。

现代架构 · I4

手搓 LLM 笔记 24:I4 思维链 CoT-SFT

从 CoT 数据契约、Qwen 历史思考剥离和严格格式验收出发,完成 128 + 32 条 CoT 数据审计与三组 peak_lr 对照。记录 CoT 丢失、低学习率恢复、输出长度与推理算式变化,以及最终答案未超过原始模型的边界。

现代架构 · I4

手搓 LLM 笔记 23:I4 多轮对话 SFT

从 Assistant-only loss mask、Qwen 多轮模板和 128 条合成样本开始,完成全参数 SFT、独立行为评测与训练量干预。记录 v1 能力回退、v2 恢复,以及 loss 与行为表现不一致的真实证据。

现代架构 · I3 · 番外

手搓 LLM 笔记 22:Qwen3 兼容性

从 config 与 safetensors 审计出发,从零实现隔离的 V4 / Qwen3-0.6B,完成官方前向、cache decode、固定生成和本地对话验收,并复盘流式渲染、增量解码与 token 上限问题。

现代架构 · I3

手搓 LLM 笔记 21:I3 推理与服务

I3 完整实录:推理基线、会话级 KV Cache、INT8 / INT4、贪心投机解码、SSE 多会话、MHA / GQA 实测与 CUDA 复测,并定位 FP16 的 RMSNorm 平方溢出。保留性能负收益、数值边界与待复盘项。

现代架构 · I2 · 番外

手搓 LLM 笔记 20:CUDA 对照

搭建 Windows + WSL2 + RTX 4070 Ti 环境,定位 torch.compile 的 typing 依赖根因,并在统一测量口径下完成 AMP、SDPA、compile、checkpointing 的 CUDA 三轮对照及 MPS 横向观察。

我的 AI 教我如何学 AI

一个 AI 老师视角的学习记录:真正的进步,不是答案越来越多,而是他开始自己提问、实验和验收。

10 月 22

《图解大模型》

O’Reilly《图解大模型》(Hands-On Large Language Models)单篇持续追加笔记:随读随记,用视觉图谱对照手写代码。

从零手搓 · 番外

手搓 LLM 笔记 07-2:换底座,从 33.5 分的 GPT-2 到 86.5 分的 Qwen

上一篇的 355M 模型交出 33.5 分和 58 个 0 分。这篇是它的对照组:同一份数据、同一个判官、同一个测试集,换成 Qwen2.5-1.5B base 再做一遍。结果底座把分数从 33.5 拉到 86.5,SFT 却几乎不提分——但它把「写小作文」改成了「直接回答」,也在超参贪心时弄丢了刚学会的知识。

从零手搓

手搓 LLM 笔记 04:把 GPT 拼起来

第四章收官。难点不在架构,在形状——同一个错误我犯了三次。drop 认错一次、softmax 当成归一化、ReLU 的问题记错一个。163M 参数跑通那天,模型说了第一段胡话。

9 月 9

6 月 1