Harness 省 Token 2.7x 实战

一次 agent run 结果正确，但账单远超预期。模型按你说的做了，找不到明显的浪费点——差别藏在包着模型的那层代码里：它决定模型看到多少上下文、被调用多少次、能碰到哪些工具、上一步的东西怎么带到下一步。这层就叫 harness。

LangChain 证明了这层有多大空间：deepagents-cli 在 Terminal Bench 2.0 上从 52.8% 做到 66.5%，模型锁定 gpt-5.2-codex 一字没动，排名从 30 名开外冲到第 5——全是 harness 的功劳。

这门课拆解 TrueFoundry 的开源 harness TrueForge（trueforge.dev，github.com/truefoundry/trueforge，MIT 协议）：生产级 harness 在执行循环之外还管什么、token 成本在一个 run 里哪里累积、四策略怎么把上下文压平、凭证怎么不进沙箱，以及三家 harness 同场 benchmark 的完整数字。这是全系列唯一一篇量化 token 成本的硬核工程实测。

以下来自 @_avichawla。先看一个具体场景：某个工具在第 4 步返回了 50,000 token 的 JSON，没有任何东西把它从对话里拿掉，于是到第 19 步时，模型又把它读了 15 遍——累计 80 万 token，只为一次工具返回。

计费细节：prompt caching 让重复前缀打折读，所以这 50k 实际约等于 3 倍单次读取的成本，而不是 16 倍。但量没变：16 次调用里它都占着上下文窗口，模型每次都要重新处理一遍；而且缓存只在"对话更早的部分不变"时才有效。

工具定义也一样：每个都带 name / description / input-output schema，MCP 服务器会先把一大块 prompt 占满，活儿还没开始干。

以下来自 @_avichawla。TrueForge 把上下文拆成"启动时模型需要的"和"执行中累积的"，两根杠杆一起抓。启动期原则：只加载 run 需要的，不加载系统支持的全部。

• Skills 是 git-backed 的 SKILL.md 包：启动只加载 name + description，相关时才从 sandbox 读正文；
• 工具定义默认 deferred（preload=false）：启动只拿 MCP 服务器的 name + description，不拿每个 schema。

需要时走四步按需发现：

1. list_tools：返回某 MCP 服务器上的工具名；
2. get_tool_info：返回单个工具的描述 + 输入输出 schema；
3. get_tool_output_schema：只返回输出形状——写 Code Mode 脚本前先读它，不用对着原始 JSON 猜 key；
4. call_tool：按名调用。

以下来自 @_avichawla。用一个客服问题串起四个策略："哪些账户的 open ticket 最多，都在说什么？"——要查 issue tracker、去 CRM 对账户、读文档。工具调用次数可控，难的是返回的数据量。

点下面单步看四个策略：

① 大响应落盘② Subagent 隔离③ Code Mode④ 50k 阈值压缩

tracker 返回 400 个 open ticket（标题/描述/评论/标签/经办人/时间戳），agent 其实只要 account ID 和 subject。TrueForge 把大响应写进 sandbox 文件，上下文只留短预览 + 路径，需要全文时再读文件。并行批量超预算时，先 offload 最大的，直到批次装得下。

12 个账户各要一轮 lookup：root agent 一个个做，就得把 12 份原始记录全背在自己上下文里；改为每个账户起一个 subagent，各在独立上下文里干活，只返回短摘要。root 只看到 12 份摘要——并行之上的上下文隔离。

按账户统计 ticket 数是个数据 join。不用 Code Mode：agent 把两边数据拉进上下文，对 ID、计数，跨好几次模型调用。用 Code Mode：写个 Python 脚本一次跑完，ID 留在脚本里不进模型上下文，只有输出进上下文。

前三个管"进上下文的东西"，压缩管"对话本身变成 payload"的情况。超默认 50,000 token 阈值，写一份结构化摘要（意图/决策/文件与产物/错误与修复/下一步）替换旧消息，完整事件史留在服务器。

以下来自 @_avichawla。压上下文的前提是 runtime 敢让 agent 碰真实系统。常规隔离是把生成的代码放进 sandbox 跑，但如果 sandbox 里同时躺着模型的 API key 和 MCP 凭证，那代码就和 harness 一样有秘密了。

TrueForge 把两者分开：harness 和凭证留在 server 端，sandbox 只跑代码、文件和 shell。Code Mode 脚本调 call_tool 时，请求先路由回 harness，由 harness 填上存好的凭证、调 MCP 服务器、把结果还给 sandbox：

复制import asyncio
from collections import Counter
from mcp_client import call_tool

async def main():
    tickets = await call_tool(
        "tracker",
        "search_issues",
        body={"status": "open", "limit": 500},
    )
    accounts = await call_tool(
        "crm",
        "query_records",
        body={"object": "Account", "fields": ["id", "name"]},
    )

    names = {a["id"]: a["name"] for a in accounts["records"]}
    counts = Counter(t["account_id"] for t in tickets["issues"])

    for account_id, count in counts.most_common(10):
        print(f"{names.get(account_id, account_id):<28} {count:>4}")

asyncio.run(main())

400 张 ticket 和账户记录留在 sandbox 里，脚本从头到尾没见过给它鉴权的凭证。审批同样生效：脚本调被 gate 的工具会暂停等审批——Code Mode 不是权限模型的后门。

以下来自 @_avichawla 与 TrueFoundry 的合作实测。TrueForge 对 Claude Managed Agents、deepagents，在 DevRev Enterprise-Bench 的 14 个任务（Jira 风格 tracker、Salesforce 风格 CRM、Drive 风格文档库，全走 MCP）上同场对比：同模型、同工具、每任务全新 session；LLM 裁判盲评，任务必须满足全部标准才算解出。

• 成功率打平：14 题里差 1 题，无显著性差异——三家都能做出来；
• token：TrueForge 只用了 Claude Managed Agents 的 约 40%、不到 deepagents 的 1/4——2.7x 的差距；
• 速度：每 run 40 分钟 vs 63 / 64 分钟。

差距来自"每家 harness 背了多少东西"：TrueForge 从精简指令出发、计划更少的工具调用、持续修剪历史；deepagents 每轮都背着 planning、虚拟文件系统和一个 subagent。换模型是另一根杠杆：TrueForge + GLM-5.2 解出题数相当，成本比 Claude Agents + Opus 4.8 再降 75%。

benchmark 的 harness、system prompt、grader 全部开源，可拿自己的模型和数据集复跑：TrueFoundry 完整 benchmark。

以下来自 @_avichawla。TrueForge 本地是单进程 + SQLite，只要求 Node 22.13+：

复制npx @truefoundry/trueforge

打开 http://localhost:8790，在 Settings 里配一次 runtime，之后每个 agent 复用。在 Settings → Models 加模型 provider，Connectors 下接 MCP 服务器，Sandbox providers 里加 Daytona key（沙箱执行、文件 offload、skills 都靠它）。然后建 agent：选模型、挂 connectors 和 skills、写 instructions、存进 library。聊天 UI 最快上手，更深的控制在 agent spec 里，全走 API 和 SDK——可以嵌进自己产品，或把 UI 换皮成品牌界面。

▶

视频在原帖中播放（X 站内视频无法直接下载嵌入），点此去原帖观看。

已经在跑的：TrueForge 驱动着 TrueFoundry AI Gateway 里的 AskTFY（跨生产 trace 查故障、找模式）；NetApp 和 Automatiq 也在上面建 agent，Daytona 提供沙箱，搜索/推理/护栏 provider 围着它插拔——harness 是执行层，下面的系统可以换。