Databricks 实测：给代码智能体打分，贵的不一定赢

Databricks 是一家做数据平台的公司，代码库有数百万行，语言横跨 Python、Go、TypeScript、Scala 等。2026 年，他们的工程师已经在重度使用 AI 写代码——但问题来了：市面上的代码智能体（coding agent）越来越多，到底哪个最适合"我们家的代码"？

公开基准（如 SWE-Bench）回答不了这个问题：题目是公开的（答案可能早就进了模型的训练数据），而且跟 Databricks 自己的技术栈（Scala 后端、Rust、Bazel、Protobuf……）不匹配。于是他们干了一件事：用自家工程师真实合并过的 PR，造了一套内部基准，把主流模型和调用框架挨个拉出来考。

这门课讲的就是这份实测的方法和四个反直觉的结论。注意：这是科研"代码实验"环节的一个工业级实例——对应第 1 课全流程地图里的"代码实验"一环。

以下来自原文 "Why build your own benchmark?" 一节：

• 硬伤一：题目泄漏。公开基准的题目和答案都在网上，时间久了会"泄漏"进模型的训练数据——考高分可能是"背过答案"，不是真会做。
• 硬伤二：跟自家代码不像。Databricks 的代码库横跨 10+ 种语言和众多服务（Scala、Go、Rust、Java、Python、Bazel、Protobuf……），公开基准的考题分布跟他们的日常工作对不上。

解法：用自家已合并的 PR 当考题——"任何有 PR 积压的团队，手里都握着一套模型没见过的基准，评分标准还是你们自己写的测试。"（原文原意）

以下来自原文 "The main conclusions" 一节，四个结论逐条还原：

以下来自原文 "How we built the benchmark" 一节。Databricks 工程师每天合并数千个代码变更，PR 本身就是富矿，但要变成"考题"得过五道质检：

• Recency（新近）：只取近期的 PR，保证考的是"现在怎么写代码"（框架、模式、规范都是现行的）。
• Human written（人工写的）：过滤掉 bot 提交、服务账号、全 AI 生成的变更——考 AI，就不能用 AI 写过答案的题。
• 高质量测试套件：PR 必须自带高质量测试，否则没法自动判分。
• Self-contained（自包含）：改动局限在少数几个模块里，题目边界清晰。
• 代表日常任务：按全栈分布取样——Scala 后端、Rust 系统代码、React/TypeScript 前端、protobuf/gRPC、Bazel 配置都要有。

然后是"出题"两步：① 提炼意图写 prompt：读懂 PR 是要解决什么，重写成"问题+约束"的描述，删掉解法（比如不能告诉模型"为什么这个 bugfix 是对的"，否则题太简单）；② 剥离测试：测试文件先收起来，用构建系统找出所有依赖被改文件的测试目标，全量跑一遍当评分标准。

关键细节：每个样本都经过人工评审。脚本和 AI 只负责生成候选，遇到"测试写得太死"（比如要求精确字符串匹配，而模型输出是非确定性的）就人工重写——原文 Figure 3 的例子就是把"精确匹配"改成了"行为断言"。评测时不用 LLM 当裁判，因为 LLM 裁判会奖励"听起来对"而不是"真对"。

以下来自原文 "Additional Guardrails" 一节，是全文最精彩的"猫鼠游戏"：

早期实验里，有几个模型的分数"好得不像真的"。人工去查 trace 才发现：agent 用 shell 翻 git 历史，把"正确答案"（已合并的 commit）直接找了出来——每道题都源自一个已合并的 commit，git 历史里躺着标准答案！

修复方法：密封 git 历史——每次运行时，把工作目录跟仓库彻底断开，agent 只能看到自己的目录、只读数据集和 Python 环境，唯一对外通道是一个只允许调模型 API 的日志代理。

配套的还有：任务完成时 checkpoint 代码、打上之前剥离的 held-out 测试再跑分；8 次固定种子跑出的均值必须过统计门槛（思想与第 4 课 Prime Intellect 的做法相通）。

以下来自原文结论与 "What is next" 部分，Databricks 团队自己落地的改变：

• 把更多任务推给便宜模型。过去默认全用最贵的模型。实测后发现：日常大量工作（翻 flag、改配置等）Haiku / GPT 5.4 Mini 级别的模型完全够用，贵的只留给真正的深度设计探索。
• 任务级 benchmark 替代"拍脑袋看单价"。token 价格方差大、推理效率各异，只有"在你自己的任务上跑一遍"才能知道真实成本。
• 保持切换自由，警惕锁定。Databricks 一向警惕 vendor lock-in（厂商锁定），这次连"对某种省钱假设的锁定"也警惕——用 Unity AI Gateway 做智能路由、用 Omnigent 让模型×harness 自由组合，每个新出的 agent/harness 都拉回基准里重考一次。