LLM 与 Transformer
一切 AI 应用技术——提示词、RAG、Agent、MCP、Harness——都建立在一个底座之上：大语言模型（LLM）。而 LLM 的起点是 2017 年那篇标题像宣言一样的论文《Attention Is All Yo…
一切 AI 应用技术——提示词、RAG、Agent、MCP、Harness——都建立在一个底座之上：大语言模型（LLM）。而 LLM 的起点是 2017 年那篇标题像宣言一样的论文《Attention Is All You Need》。它提出 Transformer 架构，用注意力机制取代了循环神经网络，从此「基于注意力机制的生成模型」成为主流。这一章讲清楚三件事：Transformer 是什么、三种架构变体如何演化、为什么最终 Decoder-Only（仅解码器） 一统天下。这是本模块十二个节点的第一个——后面的每一章，都是在为这个底座接上新的能力。
1. 演进起点：2017 年那篇论文
在 Transformer 出现之前，处理序列数据的标准架构是循环神经网络（RNN/LSTM）：逐字读入，把历史信息压进一个隐藏状态向量。它的致命伤是串行——读第 1000 个字时，必须等前 999 个字算完；而且长距离依赖会随着步数衰减（梯度消失）。
2017 年 6 月，Google 团队发表《Attention Is All You Need》，核心主张可以浓缩为一句话：
序列建模不需要循环，注意力机制本身就够了。
注意力机制让模型在生成某个词时，可以直接「回看」序列中的任意位置并分配权重——距离不再是问题，而且所有位置可以并行计算。这在两个维度上是革命性的：
- 并行性：GPU 终于可以被喂饱，训练规模第一次真正意义上可以「大力出奇迹」
- 可扩展性：模型越大、数据越多，效果越好——这条「规模化法则」（Scaling Law）决定了后来十年的路线
Transformer 提出时用于机器翻译（Encoder-Decoder 结构），但真正让 AI 应用爆发的，是它的后续演化。
2. 三种架构变体：一场自然选择
Transformer 论文定义了编码器（Encoder）和解码器（Decoder）两个组件。理解它们可以借用一对直觉：编码器是「阅读选手」——只负责把输入内容转换成机器能理解的数学表示；解码器是「写作选手」——根据这份理解，逐词生成最终输出。后续研究把这两个组件拆开、重组，演化出三条分支：
| 变体 | 代表模型 | 定位 | 命运 |
|---|---|---|---|
| Encoder-Only（粉色） | BERT（2018） | 双向理解，擅长分类/检索 | 在理解任务上很强，但不会「生成」，逐渐边缘化 |
| Encoder-Decoder（绿色） | T5（2019）、BART | 编码后再解码，经典序列生成 | 翻译/摘要仍是好选择，但训练成本高、工程复杂 |
| Decoder-Only（蓝色） | GPT 系列、LLaMA、Qwen | 自回归生成：一个词一个词往后接 | 当前绝对主流 |
Decoder-Only 路线的起点，是 2018 年 OpenAI 的 GPT-1：研究者尝试「干掉编码器，只保留解码器」，发现模型在生成（续写）任务上的表现反而更强。此后十代 GPT 都沿着这条路走。为什么 Decoder-Only 赢了？三个原因层层递进：
- 上下文学习（In-Context Learning）：2020 年 GPT-3 论文发现，仅仅把示例写进提示词，模型就能学会新任务——不需要改任何参数。这种能力在 Encoder-Decoder 上明显更弱。生成式预训练天然适配「预测下一个词」式的学习
- 架构更简单：只有解码器堆叠，工程实现、分布式训练、推理优化都更省事。同一套代码能同时服务训练和推理
- 对话范式的胜利：ChatGPT 让「对话」成为 AI 应用的主交互形态，而对话本质上就是自回归生成——Decoder-Only 是它的天然形态
到 2023 年之后，几乎所有新一代开源模型（LLaMA、Mistral、Qwen、DeepSeek）都选择了 Decoder-Only。这不是技术路线之争的侥幸胜利，而是「生成能力 + 架构简洁」的组合拳。
3. 核心概念：注意力与自回归
这一章只做概念级建立，数学细节和代码实现请读深度版章节 Agent 核心 03 · 注意力机制与 Transformer 架构。这里用一个直觉帮你锚定两个核心概念：
3.1 注意力机制（Attention）
注意力回答的问题是：生成下一个词时，应该重点看输入里的哪些部分？
想象你在翻译「The animal didn't cross the street because it was too tired」——理解 it 指代 animal 还是 street，模型需要「把注意力」放到句子中相关的位置。注意力机制就是为每个位置计算一组权重（Query/Key/Value），让模型在生成时动态决定「看哪里」。
3.2 自回归（Autoregressive）
Decoder-Only 的生成方式是自回归：把已生成的内容接回输入，预测下一个 token，再把这个 token 拼回去继续预测，直到输出结束标记。这个「生成即上下文」的循环看似简单，却是后续一切能力的基石——Agent 的思考-行动循环、工具调用、上下文工程，本质上都在利用「模型看到什么，就基于什么继续生成」这个性质。
4. 贯穿全模块的基础词汇
后面十一章会反复用到几个词，这里一次性锚定，后面不再解释：
| 词汇 | 含义 | 为什么重要 |
|---|---|---|
| Token（词元） | 模型处理文本的最小单位（约等于半个词到几个汉字） | 计费、上下文长度、压缩优化都以 token 为单位 |
| 上下文窗口（Context Window） | 模型一次能「看到」的 token 上限 | 决定一次能读入多少内容，是上下文工程（第 09 章）的物理边界 |
| 温度（Temperature） | 控制采样随机性：低温度更确定、高温度更多样 | 事实型任务用低温，创意任务用高温 |
| 生成即上下文 | 模型生成的内容会接回输入，影响后续生成 | 自回归的天然属性，也是 Agent 循环、CoT、工具调用的机制基础 |
5. 从 LLM 到 AI 应用的接力
Transformer 奠定生成能力之后，预训练-微调范式确立：先在海量文本上预训练（学会语言与知识），再针对任务微调（学会行为）。2018-2022 年，这条路从 GPT-1 走到 GPT-3 的 1750 亿参数，再到 2022 年 11 月 ChatGPT 发布——AI 应用从研究走向大众。
站在 2026 年回头看，LLM 之后的每一次技术跃迁，都在回答同一个问题：如何让这个「会说话的模型」在真实世界里可靠地干活？
- 提示词工程（第 02 章）：不改变模型，只改变输入
- 微调（第 03 章）：用特定数据定制模型参数
- RAG（第 04 章）：把知识外挂到模型外部
- Function Calling（第 05 章）：让模型能调用工具
- 后面的每一章，都是这条接力赛的下一棒
5. 现状与关键认知
现状（2026）： 开源与闭源模型共同把「能力上限」推到前所未有的高度。长上下文（百万 token 级别）、多模态、推理模型（Reasoning Models）成为标配。Decoder-Only 依然是绝对主流，但架构探索并未停止——状态空间模型（如 Mamba）、混合架构（MoE）等在特定场景崭露头角。
三个关键认知：
- 模型能力是天花板：提示词、RAG、Agent 都是「围绕天花板做文章」——发挥、引导、补足，但都无法突破模型本身的推理上限。选对模型（尺寸、能力、成本）是最大的杠杆
- 生成即上下文：模型的一切行为都发生在「看到什么就基于什么继续生成」的框架里。理解这一点，才能理解后面所有章节的设计动机
- 演进没有终点：2026 年的 Harness Engineering 讨论的不是「换个更好的模型」，而是「在既有模型能力上，如何通过工程手段榨出可靠性」——这正是 AI 应用技术演进的总体方向
延伸阅读
- 原始论文：《Attention Is All You Need》（2017）——一切的基础，值得精读引言与结论
- 《GPT-3: Language Models are Few-Shot Learners》（2020）——上下文学习的起点，理解提示词工程为何可能
- 深度版：Agent 核心 03 · 注意力机制与 Transformer 架构、04 · 预训练、RLHF 与采样