Jalapeño：OpenAI 首款定制推理芯片

⏰ 时效声明：本课内容整理自 OpenAI 官方工程博客（2026-08-25），所有数字均为官方自报，截至发布时。

OpenAI 公布了第一代定制推理芯片 Jalapeño 的首批结果。这是 OpenAI 第一次自己设计 AI 芯片——专门为"跑大语言模型推理"而造，而不是拿通用 GPU 将就。

官方 claim 一句话：以单一架构同时实现更高吞吐量和更低延迟——现有硬件往往要在"跑得快"和"等得短"之间二选一，Jalapeño 想两个都要。

以下来自 OpenAI 官方博客，在三款模型上测得（GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T）：

峰值吞吐量下，每瓦特完成的 AI 工作量比对比系统高 1.5–1.9 倍；端到端延迟低 1.7–3.6 倍；高度交互负载（多人同时高频对话）提升 2.1–4.1 倍。

具体到"每千瓦混合 token 吞吐"：GPT-OSS 120B 上 22,935 vs 现有最佳 427（53.7×）；DeepSeek R1 上 12,258 vs 118（104.3×）；Kimi K2.5 上 6,744 vs 120（56.1×）。每用户峰值解码速度：1,459 / 700 / 694 tokens/s/user，分别是对比系统的 2.7× / 4.1× / 3.8×。

注意：这些是官方自报的"首批结果"，对比口径由官方选定。

以下来自 OpenAI 官方博客，方法论值得单独讲，因为它决定了数字的可信度边界：

第一，测的不是芯片跑分，而是完整服务过程——用 SemiAnalysis 的公开基准 InferenceX，模拟真实线上 serving（排队、批处理、解码全流程）。

第二，按芯片额定功率归一化：Jalapeño 额定 700W，实测持续功率 ≤550W——对比的是"同样功耗下谁干的活多"，而不是"谁的绝对功率大"。

第三，覆盖三款不同体量的模型：120B、670B、1T 参数——说明不是只为某一款模型调优的"偏科生"。

以下来自 OpenAI 官方博客。语言模型推理有两个阶段，瓶颈完全不同：

预填充（prefill）：一次性读入你的长提示，是计算密集的——像"开学第一天把全班名字背下来"，考的是算力。解码（decode）：一个 token 一个 token 往外吐，是内存带宽密集的——像"上课一个个点名"，考的是搬运速度。

Jalapeño 的设计哲学：为这两个阶段协同设计，而不是各管各；最小化数据移动（KV 缓存尽量本地化，少搬运）；网络是架构不可或缺的一部分（多芯片协同当成设计起点，不是事后补丁）。

这就是"单一架构同时实现高吞吐和低延迟"的技术注脚：两个阶段不打架，整体才跑得顺。

以下来自 OpenAI 官方博客，这是全篇最有"递归"味道的一节：

9 个月，从初始设计到流片（tape-out，芯片设计定稿送去制造）。过程中用 AI 优化算术电路；借助 Codex 与 GPT-Astra，在 2 个月内把 3 个"不在生产计划内"的开放权重模型调到高性能；AI 生成的算子实现，在选定模块上比人类专家快 1.5–1.8 倍。

翻译一下：AI 在帮人类设计"跑 AI 的芯片"，而设计出来的芯片反过来让 AI 跑得更快更便宜。这是一个正循环：模型越强 → 芯片设计越快 → 推理越便宜 → 能训更强的模型。

与本专题第 05 课（GPT-6 Astra）呼应：Astra 发布页也强调了"AI 辅助的工程能力"——两篇官方材料在讲同一个趋势。

以下来自 OpenAI 官方博客。Jalapeño 不是"一款芯片"，而是"多代平台的开端"：二代已经在深度开发中，三代"已具雏形"。

部署计划：2026 年底前部署进 OpenAI 自己的计算基础设施。同时官方强调：继续广泛部署 NVIDIA 及其他合作伙伴的加速器——自研不是"断供"，是"多一条腿走路"。

为什么这事重要？推理成本是 AI 落地的天花板（本专题第 04 课 GPT-5.5、第 09 课 Search as Code 都在谈降本）。芯片级的效率提升，会逐层传导：更便宜的推理 → 更便宜的 API → 更多的 agent 应用 → 更大的使用量。