并列栏目:大模型源码图谱 —— 与手搓 LLM 并列的顶级长期源码阅读地图(Qwen / DeepSeek / 混元 / Moonshot / 智谱),独立于 I 阶段主线、按需展开;不要求所有家族同时开工,不改变当前主线优先级。当前全部规划中。
学习路线、进度与更新记录
学习路线与总进度
主线按顺序推进:先完成《从零构建大模型》,再学习 nanochat;之后整理并开源两个 Skill,再把这次学习过程中跑通的方法沉淀成学习 Agent;更远期再探索纯 AI 炒股。当前只推进一条主线,不提前并行开坑;大模型源码图谱 作为与手搓 LLM 并列的独立阅读栏目,按需展开,不算并行开坑。
路线总览
| 阶段 | 内容 | 目标 | 状态 |
|---|---|---|---|
| 01 | 《从零构建大模型》 | 手敲核心代码,逐章验证理解,留下学习笔记 | 正文收官,进入第二遍回顾 |
| 02 | nanochat | 走一遍更完整的大模型工程链路,把书中的局部机制串成完整项目 | 已立项(立项书),与第二遍回顾同步开始 |
| 03 | 两个 Skill 开源 | 整理生产问题排查与系统扫描 Skill,完成脱敏、通用化、文档和可复现示例 | 待开始 |
| 04 | 学习 Agent | 从「开发者学习大模型」这个小场景开始,把前置测绘、伴学、验收和回炉做成持续可用的工具 | 已留痕,待启动 |
| 05 | 纯 AI 炒股 | 做一个股票账户完全交给 AI 打理的项目,具体方案届时再细化 | 远期方向,待细化 |
学习 Agent 的最初脑暴已经留在《学习计划不该是一张孤零零的清单》,正式开工仍排在 nanochat 和两个 Skill 之后。
纯 AI 炒股目前只记录方向和原则,不提前设计交易策略与系统形态,等正式立项时再补齐方案。
学习过程中暴露出的知识债单独维护在《学习回炉待办》。它不占章节编号,也不打断当前主线。
当前阶段:《从零构建大模型》
| 章节 | 状态 | 学习记录 |
|---|---|---|
| 第二章:文本与 token | 已完成 | 笔记 01:把文本变成数字 |
| 第三章:注意力机制 | 已完成 | 笔记 02:注意力,让每个 token 看完全场 |
| 第三章:因果掩码与多头注意力 | 已完成 | 笔记 03:因果掩码与多头注意力 |
| 第四章:GPT 架构 | 已完成 | 笔记 04:把 GPT 拼起来 |
| 第五章:预训练与生成 | 已完成,已回炉 | 笔记 05:预训练、损失函数与生成 |
| 第六章:分类微调 | 已完成 | 笔记 06:分类微调,从数据管道到换头 |
| 第七章:指令微调 | 已完成,正文收官 | 笔记 07:指令微调,掩码、表面对齐与 AI 评委 |
| 第七章·番外:换底座 | 已完成 | 笔记 07-2:换底座,从 33.5 分的 GPT-2 到 86.5 分的 Qwen |
| 第七章·番外:LoRA 剂量实验 | 已完成 | 笔记 07-3:LoRA 剂量实验,从没训练的 32 分到平台期判决 |
| 附录 A:PyTorch | 已完成 | 快速通读,补「会用但没系统学过」的地基 |
| 附录 D:训练循环增强 | 已完成 | warmup、cosine 衰减、梯度裁剪,手敲验收;结论见笔记 07-3 |
| 附录 E:LoRA 微调 | 已完成 | 手写 LoRA + 四轮剂量扫描 + merge 验收;结论见笔记 07-3 |
| 重写 lvllm(终极回炉) | 待开始 | 按工程结构重写全书代码,即 笔记 08(草稿);施工图见 lvchat 实现导图 |
更新记录
- 2026-10-16:建立学习路线与总进度,当前进入第六章分类微调。
- 2026-10-16:新增学习回炉待办页,记录第三、四章的手写回炉任务。
- 2026-10-16:发布第六章分类微调笔记,当前进入第七章指令微调。
- 2026-10-19:发布第七章指令微调笔记,正文收官,进入第二遍回顾;nanochat 调整为与回顾同步开始。
- 2026-10-19:nanochat 立项并升级为自造 nanochat-lite,发布 lvchat 实现导图;附录 A/D/E 转为正式安排。