PI 真的比 Claude Code / Codex 更强吗？

作者 @Ryrenz 平时用 AI 干活，终端里基本一直挂着 Pi。体感是真好用：响应快，不啰嗦，很少绕圈子，用起来比原生 agent 更顺手——但这都是定性的感觉，说不好它具体强在哪。

直到看到 Databricks 的评测分析：把主流大模型和主流命令行工具两两组合，全拉到自家几百万行真实代码库上跑一遍，在同样完成任务的情况下，Pi 的 token 消耗显著更低——验证了他的感觉。

这篇文章只说三件事：① 测评显示 Pi 的性价比最高；② Pi 为什么性价比这么高；③ 我们该如何选择合适的 agent。

Pi 是一个开源的命令行编程工具，2025 年 8 月的新项目，现在 7w+ star。功能和 Claude Code、Codex 类似。

关键洞察：同一个大模型，套上不同的 agent，表现可以差很多——因为这层"外壳"决定了：每一轮对话往模型那边送多少内容、给模型配了哪些工具、怎么判断任务是否做完了。

作为独立开源项目，Pi 原生支持连接各大模型，也是很大的优势。

2026 年 7 月 8 日，Databricks 发了一篇内部评测报告，署名里有 Spark 的作者、现任 CTO Matei Zaharia。他们画了一张 agent × model 的性价比图。

图上取得最高分的 7 个模型 Agent 组合，其中 4 个是 Pi；全场通过率最高的 90% 也是 Pi。在真实生产代码上，一个开源项目的成绩，压过了 Anthropic 和 OpenAI 各自为自家模型量身定做的官方工具。

而且便宜得多：同样是 Opus 4.8 跑高强度任务，走 Claude Code 平均每个任务花 1.94 美元，走 Pi 只要 0.95 美元左右——便宜一倍多，通过率只差 2 个百分点。

不再使用公开考题。业内最常引用的 SWE-Bench、Terminal-Bench 是公开题库，题目和答案都在网上，模型训练时就抓进去过——表现有相当一部分来自"见过"而不是"会做"，跟考试前泄题一样。而且公开题库的任务和工程师每天实际写的代码不太一样：前者像做题，后者是在跑了很多年、有历史包袱、有内部约定的代码库里改东西。

拿自家已经合并的 PR 当考题。Databricks 工程师每天合并几千次代码改动，从中挑：改动要自包含、别牵扯太多模块、要带一套质量过关的测试；过滤掉机器人提交、服务账号提交、AI 生成的改动。留下来的每一条，人工把改动意图提炼成一句任务描述，同时把原始描述里透露解法的部分全部删掉。

代码库覆盖十几种语言：Scala 后端、Rust 系统层、React + TypeScript 前端、protobuf 和 gRPC 接口、Bazel 构建配置。

判卷用 PR 自带的测试套件：先看代码能不能编译过，编译过了就跑测试，测试全过算通过——没有用另一个大模型当裁判打分。很多评测让 GPT/Claude 判断另一个模型答得好不好，裁判自己也会看走眼、有偏好；用测试套件判卷，结果是二值的，跑过就是跑过。

他们还填上了 agent 偷看 git 历史的坑。早期实验有些模型分数"高得不真实"，翻执行记录发现：模型直接去翻 git 提交历史，把正确答案找出来了——每道题本来就来自一次已合并的提交，工作区里的 git 历史没隔离干净，等于把答案留在了考场里。后来补上了。作者认为，一份评测愿意写"我们一开始搞错了"，比通篇只讲成果的可信度高。

1. 精简的系统提示词。Claude Code 每次开始干活，还没轮到你说话，先要往模型那边送两万多 token（社区逆向出来的数据，非官方公布：截止 2026 年 2 月版本，系统提示词本身约 23500 token，另有 27 个内置工具的定义，近十万个字符）。Pi 那边：系统提示词不到 1000 token，内置工具只有 4 个：读文件、写文件、改文件、执行命令。23500 对 1000，27 个工具对 4 个。

极端例子：通过 Claude Code 说一句"你好"，这两个字本身只值几个 token，整个请求实际消耗了四万多。

2. 即使有缓存，轻量系统依然有绝对优势。有人说提示词缓存能解决（同一会话里第二次之后只按一折计费）。这话对，但只对一半：缓存解决的是重复发送的计费问题，没解决的是这两万多 token 每一轮都真实占据着模型的注意力。Databricks 的关键结论：Pi 每一轮送给模型的内容，大约是其他工具的三分之一——任务越长、改的文件越多、轮次越密，累积得越厉害。

还有个容易被忽略的：子任务。Claude Code 的 subagent 在自己的每一轮对话里，都要独立地把系统提示词和工具定义重新加载一遍。实测：直接做消耗 121000 token，拆成两个 subagent 去做，消耗 513000 token，翻了四倍多。

3. 精简提示词能提高模型智能。2023 年斯坦福和伯克利的《Lost in the Middle》测了六个模型家族：同样一条信息放开头或结尾能准确用上，放中间准确率掉超过 30%。2025 年 Chroma 测了 18 个模型：输入变长表现下降 20%–50%，号称 20 万 token 窗口的模型，实际到 5 万就明显衰退了，而且越需要综合判断、语义越模糊，掉得越快。你每轮多送进去的两万 token，既在账单上收你钱，也在稀释模型对真正重要内容的注意力。省 token 和提质量，在这里是同一件事。

4. 随着模型更智能，harness 越薄越好。Pi 作者 Mario Zechner 说：一个 harness 工具里，到底多少东西是真正起支撑作用的，多少只是"因为大家都这么做"才留着的？Pi 用"删掉"来回答——工具应该小到你能把每一个 token 都装在脑子里。这和大厂逻辑正好相反：Claude Code 和 Codex 过去一年持续加功能，系统提示词在 2026 年 2 月的两周内就涨了 28%（涨的主要是任务管理和协作模块）。每个功能都要在系统提示词里占一段位置，每轮对话重新付一次费、重新占一次注意力——哪怕你这次根本用不上它。

5. 阴谋论（作者如实并列，不下定论）。Hacker News 高赞评论：Anthropic 洗不清"用自家工具虚增 token 消耗"的嫌疑；底下补充：激励方向本来就不一样——Claude Code 自带的上下文越大，Anthropic 赚得越多。作者的态度：大厂系统提示词长，主要原因还是功能多、场景杂，不一定只是为了利润，但"Anthropic 和 OpenAI 都没有动力去帮用户省 token"是客观成立的——这大概就是为什么独立开源项目在这件事上做得更好。

Databricks 那张对比图一共六组（同一模型、同一思考强度，只换外壳）：

六组里 Pi 赢两组、输四组——但输的四组里有三组差距在 2 个百分点以内，而成本优势稳定在 1.2 到 2.08 倍。Databricks 的总结是"成本差异显著，质量保持不变"。不过作者还是从中看到了 Pi 的问题：

① Effort 调到最高，Pi 的优势就消失了。Opus 4.8 max 那一档：Pi 82% 对原生工具 89%，输 7 个百分点——这和"质量保持不变"直接冲突，7 个百分点足够把组合从最高一档踢到第二档。而且这一行是整张图六行里唯一没有标注差值的一行，正文对这个数据点只字未提。可能的解释：思考强度最高时模型自己产生的推理内容非常长，Pi"尽量少送内容"的策略反而不够用了。

② 没有权限系统。Pi 自己在项目说明里写的：不内置任何限制文件访问、进程、网络、密钥的机制，默认用启动它的那个用户的全部权限在跑。想要边界得自己套容器或沙箱。相比之下，Claude Code 每次改文件、跑命令都会停下来问你一句——对新手，这道确认是有价值的。

③ 功能上是真的少。子助手、MCP 扩展、计划模式这些 Claude Code 有的东西，Pi 基本都没有。省下来的速度和成本，代价就是功能确实少。

如果你需求写得清楚，用 Pi。判断标准：① 交代任务时会写清楚改哪个文件、要什么行为、边界情况怎么处理；② 项目里有写好的说明文档（AGENTS.md 或 CLAUDE.md）；③ 走 API 按量计费，不是订阅；④ 任务量大，成本开支已让你焦虑。对这类人，Claude Code 那两万多 token 提供的东西你自己已经提供过一遍了——你在为一份自己不需要的说明书重复付费。实操建议：思考强度别无脑往最高调（max 档就是 82% 对 89% 发生的地方，Pi 表现最好的是 xhigh 档）；Pi 没有权限限制，跑不熟悉的代码或破坏性命令前先套容器。

如果你刚上手 AI，留在 Claude Code。判断标准：① 还不太清楚怎么描述需求，经常一句"帮我改一下这个问题"就发过去；② 项目里没有写给 AI 看的说明文档；③ 用官方订阅；④ 离不开 Subagent / PlanMode / Permission / MCP 等功能。对这类人，那两万多 token 是保险费不是浪费：里面写着大量"遇到这种情况该怎么办"的兜底规则。Pi 的极简是有前提的——它假设你知道自己要什么，这个假设对新手不成立（社区反馈里"对低质量提示词可靠性差"正是 Pi 最常被提到的问题）。而且订阅用户换 Pi 要另外付 API 的钱，省一半的前提是你本来在按量付费。

权衡用法（都想用）：需求明确的机械工作——改接口、批量重命名、按现成模式补模块——交给 Pi；需求模糊的探索活——不知道故障在哪、要在陌生代码库里找东西——留给 Claude Code。