斯坦福大学课程 CS329A: Self-Improving AI Agents

学习笔记之「Course Overview」@achowdhery @Azaliamirh 两位老师主讲的自进化智能体课程第一讲，把大模型演进的逻辑链：「规模扩展 → 后训练对齐 → 推理时计算 → 智能体与自我改进闭环」讲述的非常清晰，这也是整个课程的骨架脉络。

第一讲「Course Overview」视频：
https://www.youtube.com/watch?v=6YnLB0XbTnI&list=PLangBM27OtEA&index=1&t=3584s

1. 预训练扩展定律（2018–2024）
自 GPT-3 以来，最令人震撼的经验事实是：计算量、数据量、参数量三个轴上，测试损失都可预测地下降。模型规模从 BERT（3.4 亿）→ GPT-2（15 亿）→ GPT-3（1750 亿）→ PaLM（5400 亿）→ GPT-4（估计万亿级）指数级增长。这带来三件事：基准性能持续提升、少样本/零样本上下文学习（无需微调即可通过示例引导模型）、以及涌现能力。其中最重要的涌现是思维链（CoT）：Azalia 强调，小模型（如 8B 的 LaMDA、7B 级 GPT）给了推理链也无济于事，而 PaLM 级别的大模型能真正利用它，这个性质“直到今天仍然成立”，是后来所有思考模型的根基。

2. ChatGPT 的配方 = Scaling + 指令微调 + RLHF
ChatGPT（2022 年 11 月，5 天破百万用户）超越 GPT-3 的关键不是更大，而是后训练流水线：预训练（下一词预测）→ 高质量数据微调（公司花数亿美元购买的书籍、精作文本）→ 指令微调（指令-问答对，含 CoT 微调，人工+合成数据）→ RLHF（人类对模型输出做偏好排序，训练奖励模型，再用 RL 将模型参数导向高奖励生成；奖励可按正确性、有用性、无害性等加权）。

3. 推理时扩展：约一年半前开启的新前沿
这是全课技术上最重的部分。Azalia 介绍了她实验室的工作 Large Language Monkeys（名字取自“无限猴子定理”）：让模型对同一问题并行采样最多 1 万次，再用验证器（如单元测试）挑出正确答案。核心发现：
· 覆盖率（至少一个样本解出问题的比例）随样本数呈对数线性增长；
· Llama 3 8B/70B 单样本不如 GPT-4o，但采样足够多次后反超；模型“知道”的远多于一次提问所暴露的；
· 有些难题 1 万个解里只有三四个正确，说明扩展推理计算是触及模型真实能力上限的必要手段。

随后的问答质量很高：重复采样提升的是 pass@k（覆盖），而 o1 这类推理模型提升的是 pass@1；本质是模型通过 RL 学会了“判断哪条推理链是对的”；两者是同一枚硬币的两面。o1 在 AIME 上展示了 pass@1 随测试时计算的对数线性提升，DeepSeek（2024 年 12 月）则把两件事合流：用测试时扩展批量生成可验证的合成数据，回流到训练集再微调模型。这个“生成—验证—回灌”的闭环正是课程标题“自我改进”的技术含义。

4. 从 LLM 到 Agent
Aakanksha 的判断很明确：聊天模型和推理模型本质仍是单轮对话，而 2025 年真正意外发生的是 Claude Code、Codex、Deep Research 这类智能体开始端到端完成真实工作流。她给出的 Agent 定义是教科书式的：给定目标 → 规划步骤 → 与环境交互（含工具调用）→ 依据反馈修正 → 判断何时停止或承认失败，并可能需要记忆维持任务状态。

但她同样诚实地指出现状：多数落地系统仍是人工编排的静态工作流图，LLM 调用、LLM-as-judge、工具调用（搜索等），组织成提示链、按复杂度路由、并行扇出再聚合（Deep Research 的做法）、或“LLM 管理者”式规划-执行（Claude Code 的做法）。真正开放式自主循环目前只在编码和深度研究两个领域“出现生命迹象”。编码智能体可靠化的原因被归纳为：更强的模型 + 可验证奖励的 RL（RLVR）+ 训练时扩展，外加自我改进闭环启动，可以自动生成单元测试来验证生成的代码（即 Code Monkeys 一线的思路）。

贯穿全课的一个关键瓶颈：验证
两位老师反复回到 generator-verifier gap：模型生成大量貌似合理的内容很容易，但判断对错需要反馈回路。在数学、代码这类可验证领域，单元测试/标准答案提供了廉价可靠的信号，改进可以持续滚动；而在创意写作等领域，人类反馈成为瓶颈。这个瓶颈直接对应课程第 3 讲「Robust Verification」，也是 Azalia 实验室有论文（如何组合多个验证器）的方向。这是理解当前智能体能力边界的最重要单一变量。

几个值得注意的问答观点
· 推理能力是“训练出来的广义思考者”：数据让模型把分解、回溯、分析等技能泛化成通用能力，而非硬编码的流程模板；模型学到的东西已远超训练数据本身。
· 模型偏爱自己生成的推理轨迹，即使轨迹来自更强的模型，它们也更喜欢自己的。这关系到 STaR 式自我蒸馏为何有效（对应第 5 讲多步推理）。
· 思维链是被“发现”的涌现，不是被设计的：从 GSM8K 首现迹象，到 PaLM 能解释笑话，再到专门训练的推理模型；先是涌现，后是强化。
· 未来值得期待的“涌现”：规划、多步推理、自我纠错，恰好是课程要逐讲展开的能力清单。

应用部分给出四个层次
编码智能体（最适合的是重复性任务：代码迁移、版本升级、重构、数据工程）；客服（实时转写、知识辅助、智能回复、通话摘要）；深度研究/报告（检索→大纲→逐源摘要→综合，课程作业会动手实现）；以及前瞻性的 AI Scientist（创意生成、实验迭代、论文撰写；尽管有幻觉，其头脑风暴常能跳出领域老兵的思维定式）。