这本书不拆系列,只维护这一篇 Markdown,读到哪就往下追加到哪。 手搓完《从零构建大模型》之后再翻这本 O’Reilly 动物书(Hands-On Large Language Models),以前看图是“认名词”,现在看图是“对图纸”——正好拿它把生成模型之外的表示模型、语义检索与工程应用拼图补齐。

开篇:为什么翻开这本动物书

在《面试 300 场之后》里我写过自己的藏书习惯:华章的黑皮书用来啃底层、打地基;O’Reilly 的动物书用来实战、查手册、建全景。

Sebastian Raschka 的《从零构建大模型》带我在车间里把分词器、注意力、残差流和微调循环亲手车了一遍;而 Jay Alammar 和 Maarten Grootendorst 的这本《图解大模型》,则是挂在车间墙上的全景图纸。下面按阅读进度持续追加我的批注与对照。


译者序

译者序有两个点我很喜欢

  1. 遇到大模型这样大的技术浪潮是我人生最幸运的事情 是的,我也这么觉得。我能遇到的最大的时代红利可能就是AI了
  2. 系统的了解Transform和大模型的基本原理和能力边界,就如同在大模型的探索之旅中拥有地图和指南针 这两周,手搓了最基本的gptmodel后,遇到新的技术点的时候确实是这样的,比如我现在就是moe就是在ffn层做事情。top-k,top-p,概率采样,温度都是在generate的时候使用,等等。有了地图之后的探索很爽

第二章 词元和嵌入

关于BPE 假设subagent被BPE拆分成了sub和agent两个token。但是模型如果要输出subagent 就需要返回两个sub和agent的token id。但是在解码的时候,是逐个token id解码的,那什么时候才会把sub和agent拼接起来呢?

假设词表中没有完整的 subagent,只有 sub 和 agent,模型会依次输出这两个 token id。由于这两个 token 本身都不含空格,解码时先分别查表得到 b"sub" 和 b"agent",再按顺序拼接成 b"subagent",最后做 UTF-8 解码,就得到 subagent。

BPE 的 merge 发生在 tokenizer 训练和文本编码阶段;解码阶段只做查表与拼接,不重新执行 merge。 空格、换行和标点也包含在 token 中,由模型按上下文预测,不由解码器额外添加。

在阅读完第二章中关于分词器的介绍,分别介绍了2018年的WordPiece(大小写不敏感) WordPiece(大小写敏感)。 bpe 2019年,flan-t5 2022年, gpt4的bpe 2023年, StarCoder2 2024年,Galactica 等多种分词器

阅读这些分词器的发展后,我的理解是:分词器首先要把连续文本转换为离散的 token id 序列,但它们关注的问题并不止于“怎样准确地切分词语”。

随着模型任务越来越丰富,tokenizer 还需要在 token 序列中表达文档边界、片段位置、代码缩进以及其他结构信息。因此,一方面通过 BPE 等算法合并高频文本片段,提高编码效率;另一方面通过人为定义的特殊词元,为开始、结束、中间补全等结构提供明确标记。

我感觉这是一种从“词汇级切分”走向“序列级表达”的演进:tokenizer 不只是把一句话拆成若干 token,也在帮助模型组织一整段文本及其上下文结构。不过,特殊词元本身只是协议,模型是否理解这种协议,仍然取决于后续训练。

分词器不只是把文本切碎给模型看,也在把文本的结构告诉模型,让模型能够结合更完整的上下文理解每个 token。

所以特殊领域是可以建立更多的特殊词元,让模型拥有更多的表达能力,比如生物,医药,化学等符号领域,领域词表负责把专业内容表达好,领域训练负责让模型真正学会这些内容。

比如python的缩进符,擅长代码的模型大概率会把首部缩进4个空格看成一个整体处理,而不是独立的四个空格拼接,高频领域格式会被 tokenizer 压缩成整体 token,模型再通过训练学习这些 token 的结构意义。

关于文本嵌入 书中提到了词元嵌入是LLM运作的关键,但许多LLM应用需要处理完整的句子,段落甚至文本文档,催生了一些特殊的语言模型,能够生成文本嵌入-用单个词向量表示长度超过一个词元的文本片段

词元嵌入解决的是如何表示局部单元,句子或文档嵌入进一步解决如何表示整体语义。它让计算机可以比较两段文本“意思是否相近”,而不仅是比较它们用了哪些相同词元。至于这种整体表示是否真的保留了语义规律,而不是只记住表面文本,则取决于训练方式和评估。

个人理解,随着模型能力增强,它不必只理解孤立的词元,而可以在上下文中理解词元组合后的整体语义。未来的优化方向不一定是让 token 无限变大,而是在保留组合能力的同时,更高效地表达文本结构。在特定领域或高频固定表达中,将完整短语甚至短句映射为单个 token id,也可能成为一种提高压缩率的探索。但 token 越大,并不意味着表达能力必然越强,还需要权衡词表规模、组合能力和对未见文本的泛化。

未来探索方向:从函数级生成到组件编排

由代码领域的结构化特征和函数组合方式,联想到一个企业级系统方向:模型是否一定要从底层逐 token 写代码?能不能让它更多地复用已有函数、API 和组件,把精力放在整体框架与编排上?

最初的想法是把一个原子化函数映射成 token id,让模型直接组装函数。但函数数量庞大且持续变化,语义又依赖参数、返回值、上下文和副作用,直接塞进词表并不利于泛化。更可行的方式是把函数封装成可发现、可理解、可调用、可验证的能力单元,由模型生成调用与编排计划。

可以探索多个模型分工协作。这里不是给同一个底层模型切换 Agent 角色、Skill 和提示词,而是让不同能力在模型训练层就独立形成:

  • A:架构模型:面向企业架构设计,在训练阶段引入企业现状、行业优秀架构文档、设计评审、架构决策记录和事故复盘,使模型内化需求拆解、系统权衡、依赖治理和组件复用能力,成为一个真正的架构师角色;
  • B:开发模型:面向函数与组件实现,根据架构模型给出的契约完成编码、局部调试和测试修复;
  • C:测试与验收模型:面向测试设计、结果分析和验收判断,结合编译、测试等确定性工具,评估系统是否满足需求。

这里的分工不是三个提示词 persona,而是三种可以通过不同语料、训练目标和评估集分别优化的模型。Agent + Skill + 提示词仍然存在,但它们主要处于运行时编排层:负责把实时企业架构图、当前仓库状态、运行指标、权限与组织约束、工具调用结果等高维信息交给模型,而不是替代模型本身的架构能力。

还需要注意信息的时效性:稳定的架构原则、优秀案例和决策方法可以进入训练语料;频繁变化的企业现状不宜只固化在权重里,更适合由知识库、代码图谱和运行时上下文持续提供。权重负责内化方法,上下文负责描述当下。

完整闭环应当是:

架构模型拆解需求并规划组件
→ 检索已有组件
→ 开发模型补写缺失组件
→ 工具执行编译与测试
→ 验收模型分析结果并反馈
→ 修复或重新规划

这个方向未来值得实际探索:它不仅研究 tokenizer 和 Agent 编排,也研究面向架构、开发、验收的专用模型如何训练,以及模型之间如何通过明确契约组成企业级研发系统。

第三章:重新对齐几个容易混淆的概念

原来用 transformers 三方包加载一个模型居然如此简单。手搓过 V3 / V4 后再看,这种简单不是没有底层步骤,而是框架把它们封装好了:

config 决定模型结构
tokenizer 决定文本与 token 的协议
safetensors 保存实际权重
forward 定义真正的计算语义

from_pretrained 把这些工作藏在了一个统一接口后面。能调用和能理解不是一回事:权重键如何映射、head_dim 是否独立、QK Norm 放在哪里、输出头是否共享、logits 能否对齐,仍然需要实际检查。现在再看这个简单接口,反而更能意识到它替我做了多少事。

下面是一个使用 Hugging Face transformers 加载 Qwen3-0.6B 并完成一次对话生成的最小示例:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Qwen/Qwen3-0.6B"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

messages = [
    {
        "role": "user",
        "content": "你好,请用一句话介绍注意力机制",
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output_ids = model.generate(
        **inputs,
        max_new_tokens=128,
        do_sample=False,
    )

new_token_ids = output_ids[0][inputs["input_ids"].shape[1]:]
answer = tokenizer.decode(new_token_ids, skip_special_tokens=True)
print(answer)

如果权重已经下载,可以把 model_id 换成本地模型目录,例如:

model_id = "/Users/lv/lv_repo/squid-llms/data/model_pth/qwen3/qwen3-0_6b"

这段代码里,框架接管了模型类选择、配置读取、权重加载和设备映射;对话模板、生成参数和新增 token 的截取仍然清晰可见。enable_thinking=False 是为了让示例直接给出回答,改为 True 可以观察思考模式;max_new_tokens 限制的是思考与正式回答的总生成量。最后只解码 output_ids 中新增的 token,避免把原始 prompt 再打印一遍。

自回归模型就是使用早期预测来进行后续预测的模型。更具体地说,第 t 个 token 的条件概率只依赖它之前的 token:

p(x₁...xₙ) = ∏ p(x_t | x_<t)

这个依赖关系也解释了为什么训练并行不等于生成并行。训练时,目标 token 已经存在,可以一次传入整段序列,通过矩阵运算并行计算所有位置;因果掩码负责阻止每个位置偷看未来。推理的 Prefill 阶段也可以并行处理已有 prompt,但 Decode 仍然要先把上一个 token 生成出来,才能把它加入历史并预测下一个 token。

所以 Transformer 相对 RNN 的并行优势,主要体现在训练与 Prefill 的矩阵计算上,不是自回归生成从此摆脱了顺序依赖。

FlashAttention 是一种广受欢迎的方法和实现,可以显著提升 GPU 上 Transformer LLM 的训练和推理速度。它通过优化片上 SRAM 与高带宽内存(HBM)之间的数据加载和迁移来加速注意力计算。

FlashAttention 的重点不是减少参与注意力的 token,也不是把 Dense Attention 改成 Sparse Attention,而是用分块、重算等方式减少完整注意力分数矩阵在 HBM 上的读写。它保持标准注意力的数学语义,主要改变计算与内存访问方式。

这也再次说明:调用 scaled_dot_product_attention 不等于已经确认使用 FlashAttention。SDPA 是统一算子入口,具体后端仍取决于设备、dtype、形状和 mask;我的 V4 当前手写 eager 路径,则把矩阵乘法、掩码、softmax 和加权求和完整展开,便于观察主干。

稀疏注意力和滑动窗口注意力目前尚未实际实现,暂时只记录它们与 FlashAttention 的区别:它们都在探索如何降低注意力成本,但路径不同。

  • FlashAttention:基本不改变注意力连接关系,重点优化计算与内存 IO;
  • 稀疏注意力:只选择部分历史位置参与计算,减少计算量,也改变信息可达范围;
  • 滑动窗口注意力:每个位置主要关注附近的固定窗口,用局部性换取效率,需要结合层间传播、全局层或其他机制补充长距离信息。

这一章没有特别多需要抄写的新概念,真正值得留下的是三条边界:框架封装不等于没有底层步骤;训练并行不等于生成并行;IO 优化不等于减少注意力位置。 稀疏注意力、滑动窗口和其他新结构,等真正手搓到对应主干时再补实现笔记。