高质量 AI Engineer 的学习资料清单
@teach_fireworks 整理的进阶清单：Harness 工程、Prompt 缓存、KV 缓存、投机解码、结构化输出——从"会用 AI"到"会造 AI 系统"的论文与工程资料。
开篇：从"会用 AI"到"会造 AI 系统"
根据大佬的推荐，@teach_fireworks 梳理了一份高质量 AI Engineer 的学习资料清单，值得收藏学习。一共 11 部分：主帖 5 部分，剩下 6 部分在评论区。
这份清单的定位和 01 课《20 个 AI 概念》不同：01 课是"理解 AI"，这份是"造 AI 系统"——论文、官方文档、工程实现，每一份都指向真实生产环境的问题。
1. Harness engineering：不只是 prompt engineering
核心公式：agent = model + harness——智能体 = 模型 + 外围的运行控制层。只会写 prompt engineering 的人，看到的是模型；懂 harness engineering 的人，看到的是整个系统：上下文组装、工具接口、状态管理、执行循环、错误处理、评测与观测层。
文章｜Martin Fowler《Harness Engineering for Coding Agent Users》：理解"agent = model + harness"的完整框架。链接：martinfowler.com/articles/harness-engineering.html
文章｜Anthropic《Building Effective AI Agents》：学习 agentic workflow、tool use、agent-computer interface、透明规划、简化设计等工程原则。链接：anthropic.com/research/building-effective-agents
文章｜OpenAI《Unrolling the Codex Agent Loop》：看真实 coding agent 的 harness 如何组织模型、工具、prompt、执行循环和性能设计。链接：openai.com/index/unrolling-the-codex-agent-loop/
YouTube｜How We Build Effective Agents: Barry Zhang, Anthropic：Anthropic agent 架构文章的视频版补充。链接：youtube.com/watch?v=D7_ipDqhtwk
prompt engineering 是"跟司机说话的技巧"，harness engineering 是"造整辆车"：发动机（模型）之外，还有变速箱、仪表盘、刹车系统（工具接口、状态、观测）。
和 02 课《白皮书》的呼应：白皮书提醒"Harness 不是标准术语，看作者语境"；这份清单给你的是 harness 思想的源头论文——两课互补。
2. Prompt caching 与 semantic caching 的权衡
都要省 token、省延迟，但省的是两种不同的"重复"：
Prompt 缓存适合复用固定长度的上下文（比如每次都带的系统提示词、项目说明）；语义缓存适合复用"语义相近"的问题答案（比如换个问法问同一件事，直接返回上次的答案）。生产系统常常两者结合。
官方文档｜OpenAI Prompt Caching：学习 prompt caching 的 provider-side 机制、适用条件和 cached token 统计。链接：developers.openai.com/api/docs/guides/prompt-caching
官方文档｜Anthropic Prompt Caching：学习 automatic caching 与 explicit cache breakpoints 的区别。链接：platform.claude.com/docs/en/build-with-claude/prompt-caching
文章｜Redis：Prompt 缓存 vs 语义缓存：建立完整权衡框架。链接：redis.io/blog/prompt-caching-vs-semantic-caching/
PDF｜GPTCache：用于 LLM 应用的开源语义缓存：学习语义缓存的论文级实现——embedding、相似度搜索、缓存命中、错误命中风险、成本/延迟收益。链接：aclanthology.org/2023.nlposs-1.24.pdf
语义缓存有个独特风险叫"错误命中"：两个问题看起来像、实际不一样，缓存却返回了旧答案。生产环境用语义缓存，必须评估误命中率——这是 GPTCache 论文专门讲的部分。
3. KV 缓存管理的规模化
大模型推理时，前面算过的 key/value 中间结果可以缓存下来复用（KV cache）。用户一多、并发一高，KV cache 的内存管理就成了吞吐量的瓶颈。
PDF｜vLLM / PagedAttention：核心论文。重点看 PagedAttention 如何把 KV cache 分成块，减少内存碎片并提升服务吞吐量。链接：arxiv.org/pdf/2309.06180
文档｜vLLM Automatic Prefix Caching：看工程实现——KV cache 被分成 KV blocks，允许非连续物理内存存储。链接：docs.vllm.ai
PDF｜LMCache：学跨请求、跨 engine 的 KV cache 复用、offloading、prefill-decode disaggregation（把"理解输入"和"生成输出"两个阶段拆开优化）。链接：lmcache.ai/tech_report.pdf
YouTube｜Fast LLM Serving with vLLM and PagedAttention：配合论文理解 vLLM serving、KV cache、PagedAttention 的直觉。链接：youtube.com/watch?v=5ZlavKF_98U
KV cache 像餐厅的"备菜区"：客人（请求）一多，备菜区乱了，上菜（推理）就慢。PagedAttention 就是给备菜区分格子、编号管理，碎片少了，上菜自然快。
4. Speculative decoding vs. quantization
两种让推理更快/更便宜的技术路线：
投机性解码（Speculative decoding）：用一个小的 draft model 先"猜"出一串 token，再用大的 target model 并行验证——猜对了就赚，猜错了重算。整体依然更快。
量化（Quantization）：降低权重精度（见 01 课概念 15），模型变小、跑得更快、吃更少显存。
PDF｜通过投机性解码实现 Transformer 的快速推理：投机性解码经典论文。链接：arxiv.org/pdf/2211.17192
PDF｜QLoRA：量化 LLM 的高效微调：理解量化基础——4-bit 量化模型、LoRA 适配器、NF4、双重量化、分页优化器。链接：openreview.net（论文 ID OUIFPHEgJU）
PDF｜QSPEC：专门研究投机性解码与量化如何结合。链接：aclanthology.org/2025.emnlp-main.240.pdf
文章｜Google Cloud：实现 LLM 推理效率前沿的五种技术：将连续批处理、分页注意力、路由、投机性解码、量化放在一个推理优化框架中审视。链接：cloud.google.com/blog 相关文章
YouTube｜Faster LLMs: Accelerate Inference with Speculative Decoding：入门视频。链接：youtube.com/watch?v=VkWlLSTdHs8
5. Structured output failures 与 fallback chains
让模型按固定格式输出（比如 JSON），听起来简单，生产环境全是坑：
官方文档｜OpenAI Structured Outputs：学 JSON Schema、strict schema、structured response 的基本能力和限制。链接：developers.openai.com/api/docs/guides/structured-outputs
文章｜OpenAI：Introducing Structured Outputs in the API：理解 JSON mode 与 Structured Outputs 的差别——JSON mode 不等于 schema 一定正确。
文档｜Instructor：学 Pydantic schema、validation failure 后自动 retry / re-ask 的模式。链接：python.useinstructor.com
文档｜Pydantic AI Output Validation：学模型原生 structured output 之外，为什么还需要应用层 validation 与 retry budget（重试预算：失败了重试几次就认输，不能无限重试烧钱）。
文档｜Guardrails AI：学如何把 raw output、validated output、validation success/failure 作为系统状态处理。链接：guardrailsai.com
YouTube｜Validate & Standardize LLM Output with Guardrails-AI：输出验证和标准化的实操视频。链接：youtube.com/watch?v=r3JdQxtxVuM
评论区还有 6 部分（未展开）
原帖说一共 11 部分，主帖放了 5 部分，剩下 6 部分在评论区。评论区 Akshay 的留言列出了完整 11 项的标题（原文如此）：
6. Harness engineering, not just prompt engineering
7. Prompt caching vs. semantic caching tradeoffs
8. KV cache management at scale
9. Speculative decoding vs quantization
10. Structured output failures & fallback chains
11. Evals (LLM-as-judge + human …（原文在此截断）
第 11 项 Evals（LLM-as-judge + human…） 即用大模型当裁判 + 人工评估的组合评估方法——和 02 课《白皮书》的 Evals / Human-in-the-loop 是同一个话题，可对照看。
原帖评论区只列出了标题，第 6–11 部分的具体资料链接没有展开。本课如实呈现原文有的内容，不自行补充。想深入 Evals，可看 02 课《白皮书》的验收与风险一节。
学习路径：按痛点认领
如果你在造 Agent / 用 Agent 干活：先看第 1 部分 Harness engineering（Martin Fowler + Anthropic + OpenAI 三篇），建立"agent = model + harness"的系统观。
如果你在为 token 账单和延迟发愁：看第 2 部分（Prompt 缓存 vs 语义缓存）+ 第 3 部分（KV 缓存）+ 第 4 部分（投机解码 vs 量化）——这是推理优化的完整工具箱。
如果你在做"模型输出给程序用"：看第 5 部分结构化输出：先分清 JSON mode 和 Structured Outputs，再给系统加上校验、重试、兜底链。
如果你想建立质量防线：从评论区第 11 项 Evals 入手，结合 02 课《白皮书》的 Evals / Tracing / Observability / Human-in-the-loop 一起看。
术语翻卡：点卡片看解释
自测一下：点问题展开参考答案
智能体 = 模型 + 外围的运行控制层。只会 prompt engineering 看到的是模型；懂 harness engineering 看到的是整个系统：上下文组装、工具接口、状态管理、执行循环、错误处理、评测与观测层。
Prompt 缓存适合复用固定长度的上下文（如系统提示词）；语义缓存适合复用"语义相近"问题的答案。生产系统常常两者结合，但语义缓存有"错误命中"风险要评估。
KV cache 的内存碎片问题。它把 KV cache 分成块管理，减少碎片，从而提升大模型服务的吞吐量，是 vLLM 的核心论文。
用小的 draft model 先猜出一串 token，再用大的 target model 并行验证。猜对的部分直接采用，猜错了重算——整体依然更快。
因为 JSON mode 只保证输出是 JSON，不保证符合你的 schema。所以要有失败兜底链：模型原生 structured output → 应用层 validation → 失败自动 retry/re-ask → 设 retry budget 超预算认输。用 Instructor、Pydantic AI、Guardrails AI 这类工具实现。