Intelligence per Watt：给 AI 的"智商"算一笔电费

1946–2009 年，计算能效（每瓦性能）大约每 1.5 年翻一番。正是这条曲线，让计算从数据中心的大型机"下沉"到了个人电脑——不是 PC 跑赢了大型机，而是 PC 的能效让它塞进了普通人的功耗预算。

斯坦福团队（Jon Saad-Falcon 等，arXiv 2511.07885v5）问了一个平行问题：今天的 LLM 推理，会不会走同一条路？三个趋势指向"是"：① 本地小模型（≤20B 参数，如 Qwen3、Llama3.1、gpt-oss）在很多基准上已很有竞争力；② Apple M4 Max、AMD Ryzen AI 等本地加速器跑它们已经能做到交互延迟；③ OpenClaw 等本地优先的个人 AI 智能体栈正在涌现。

但要回答"本地推理能不能分流云端"，缺一个统一的尺子。于是他们提出了 Intelligence per Watt（IPW）：任务准确率除以功耗——给 AI 的"智商"算电费。

以下来自原文第 2 节 "Intelligence Efficiency Metrics"。对"模型 m + 加速器 h"这个组合，记 acc 为准确率、P 为平均功耗（瓦）、τ 为延迟（秒）：

• APW（Accuracy per Watt）：准确率 / 功耗 —— 稳态效率，散热受限场景看它。
• PPW（Perplexity per Watt）：1 / (困惑度 × 功耗) —— 用困惑度代替准确率的版本。
• APJ（Accuracy per Joule）：准确率 / (功耗 × 延迟) —— 端到端效率，用户视角看它。
• PPJ（Perplexity per Joule）：困惑度版的每焦耳效率。

关键性质：四个口径下，模型-加速器组合的相对排名一致，结论不依赖选哪个公式。正文用 APW 当主指标（记作 IPW）。

测量方法也很硬核：自研跨平台 profiling harness，50 毫秒采样一次功耗（NVIDIA 用 NVML、AMD 用 ROCm SMI、苹果用 powermetrics），数值积分算能量，开源发布——比前人工作的时间分辨率高得多。

以下来自原文引言，论文围绕三个问题展开，数据规模是 20+ 本地模型 × 8 种加速器 × 100 万+ 查询：

数据集（第 3.1 节）：Wildchat 50 万（真实 ChatGPT 对话）、NaturalReasoning 50 万（数学物理化学推理）、MMLU Pro 1.2 万（多领域知识）、SuperGPQA 2.65 万（285 个研究生级学科）。还用 Anthropic Economic Index 给每条查询标了 22 个职业类别。

模型：Qwen3（4B/8B/14B/32B/235B）、gpt-oss（20b/120b）、Gemma3（1B/4B/12B）、Granite 4.0；云端对照组是 Claude Sonnet 4.5、Gemini 2.5 Pro、GPT-5。硬件：A100、H200、GH200、B200、Quadro RTX 6000、RTX 6000 Ada、MI300X、Apple M4 Max、SambaNova SN40L（附录还测了 iPhone 16 Pro 的 A18 Pro）。

以下来自原文第 4.1 节（Q1 的答案），数字全部保留：

• 单个模型：Qwen3-4B 平均覆盖 49.6%，Qwen3-8B 57.5%，Qwen3-14B 60.0%，gpt-oss-120b 达 71.4%——最强的单个本地模型能答对近四分之三的单轮查询。
• 模型多样性是关键：不只用一个模型，而是"每个查询选最合适的本地模型"（best-of-local），覆盖率冲到 88.7%，比单用 Qwen3-14B 高 28.8 个百分点。不同模型擅长不同题型，组合起来互补。
• 聊天比推理好办：Wildchat（聊天）最佳本地模型覆盖 88.9%，NaturalReasoning（推理）只有 64.9%——跟"77% 的真实 ChatGPT 查询是实用建议/信息检索/写作"的研究一致。
• 分领域看：MMLU Pro 上 best-of-local 达 93.4%，创意人文领域超 93%，但建筑工程等技术领域掉到 60%——复杂专业推理还是前沿模型的领地。
• 内存不再是墙：2012–2025 本地加速器内存涨了约 126 倍，Apple Silicon 的统一内存架构让 8–20B 的模型在本地跑得动。

还有个小彩蛋：在推理基准上，best-of-local 甚至超过了 best-of-cloud（三个前沿模型取最优）——因为本地这边是 20+ 个模型里挑， diversity 本身就是一种力量。

以下来自原文第 4.2 节 Table 2，纵向对比每年"当年最强本地模型 + 当年最强加速器"：

• 2023：Mixtral-8x7B + Quadro RTX 6000 —— 覆盖率 23.2%，IPW 7.92×10⁻⁴
• 2024：Llama-3.1-8B + RTX 6000 Ada —— 覆盖率 48.7%，IPW 1.80×10⁻³（同比 2.27×）
• 2025：gpt-oss-120b + Apple M4 Max —— 覆盖率 71.3%，IPW 4.18×10⁻³（同比 2.32×）

两年合计 5.3 倍。分解贡献（按 APW 口径）：模型架构进步贡献 3.1×（MoE、预训练、后训练），硬件贡献 1.7×；按 APJ（每焦耳）口径，硬件贡献放大到 5.9×——因为新加速器不只省电，还跑得更快。

但云端硬件仍有代差：同工作负载下，NVIDIA B200 的 IPW 是 M4 Max 的 1.4 倍、IPJ 高 1.6–2.3 倍；SambaNova SN40L 的 IPW 高 1.78 倍、IPJ 高 6.5–7.4 倍。差距来自 HBM3e、专用张量单元——本地的瓶颈是内存带宽和专用计算，不是 FLOPs。

以下来自原文第 4.3 节。模拟一个 24 小时、8020 万查询的混合系统：4 个小本地模型（Qwen3-4B/8B/14B、gpt-oss-20b，跑在 M4 Max 上）+ 1 个云端大模型（Qwen3-235b，H200，batch=16）：

• Oracle 路由（上帝视角完美分配）：省 80.4% 能量、77.3% 算力、73.8% 成本。80.7% 的查询分给本地小模型，只有 19.3% 需要前沿算力。
• 80% 准确率的现实路由器：拿到约 80% 的 oracle 收益——省 64.3% 能量、61.8% 算力、59.0% 成本。分错的查询回退到云端大模型，答案质量不掉。
• 60% 准确率的路由器：也有 48.4%/46.7%/44.5% 的节省。

点睛之笔（原文原意）：高效 AI 基础设施的关键不是本地硬件追上云端，而是把两者 route 起来——省的主要是"模型变小了"，不是"本地硬件更强了"。

以下来自原文附录 E.1 "Key Takeaways for Practitioners"，八条逐条保留：

1. 架构：富内存本地设备上，MoE 的 IPW 最好——gpt-oss-120b（激活参数≤20B）单模型覆盖最高（71.4%）。
2. 量化：FP16→FP4 每步省 3–3.5 倍能量，精度只掉约 2.5 个百分点——先放大模型，再激进量化，通常赢过"小模型+高精度"。
3. 路由：路由器做到约 80% 准确率就够，之后不如去扩大本地模型池（多样性比精度更重要）。
4. 领域：创意领域覆盖超 93%，技术推理掉到 60%——想扩大本地 AI 版图，优先啃技术推理。
5. 硬件瓶颈：云端加速器领先 1.4–7.4 倍，本地瓶颈是内存带宽和专用计算。
6. 功耗包络：iPhone 16 Pro（A18 Pro，约 12W）的 IPW 约为工作站 GPU 的 7 倍——最轻的查询值得为手机 NPU 专门优化。
7. 服务栈：云端 batch=64 时 IPJ 是 batch=1 的 11–20 倍；本地单用户拼不了 batch，但可以聚合设备上的并发应用。
8. 框架：vLLM / SGLang / llama.cpp 之间 IPW 绝对值差 3–12%，但排名不变——对比用统一框架，报绝对吞吐用目标框架实测。

局限（原文附录 C）：只研究了单轮查询；软件功耗测量有 10–15% 误差；iPhone 等手机端结论在附录。