为什么还要再来一篇对比
这三款工具的形状确实不同。Claude Code 是终端原生的 agent,同时也能跑在桌面应用和 IDE 扩展里。Codex 是 OpenAI 的编码 agent,可以作为 CLI、在 IDE 里,或作为绑定 ChatGPT 套餐的云端 worker 使用。Cursor 是让 agent 在编辑器里显得自然的 IDE,按共享的用量池计价。这些差异是真实的,也值得了解。
但它们也不是你的账单会反应的东西。把同一个任务在两款之间搬一次,一行代码都不改,账单也可能变成三倍——因为成本住在任务要花多少轮、每一轮要重发多少上下文,以及任务真正完成前发生了多少返工里。所以这篇文章不去用你没跑过的任务给 agent 排名,而是给你一个能用在已经跑过的任务上的协议。十分钟,一个仓库,三个数字。
它们之间真正不同的是什么
对一次比较来说,有三处结构性差异要紧,其余都是偏好。
agent 住在哪里。终端 agent 通过你允许它运行的命令看仓库。IDE agent 看编辑器的状态、打开的文件和诊断信息。云端 agent 看到的是你交给它的分支。每个视角改变任务头十分钟的程度,都大于改变最后十分钟,而头十分钟正是上下文被载入的地方。
用量如何计量。Claude Code 的套餐按窗口计量,有五小时区块和周上限。ChatGPT 的编码用量随套餐档位而来。Cursor 计量请求与模型用量的共享池。三种不同的表,三种在周四下午四点撞墙的不同方式——而当人们问哪款更便宜时,他们真正在问的往往是那堵墙。
上下文如何处理。这是没人写进对比表的一项,而它对账单的影响比选哪个模型更大。大文件是否整份送达、重复读取是否被拒绝、日志是否被截断:这些都是 harness 的决定,而三者各自做得不同。它们也是你能测量的决定。
测试
挑一个你上周已经做完的任务。不要基准测试里的谜题——从你自己的待办里挑,保留原本的混乱:描述含糊的 bug、要动两个文件的小功能、弄坏了什么东西的重构。然后这样做。
1. 冻结起点。在一个干净的工作树里,检出任务开始时的那个提交。三次运行必须从同一棵树出发,否则你比较的是仓库的状态,而不是工具。
2. 写同一个提示。一段话,就是你本来会写的那一段。不要为每个工具单独调它——调整本身也是你在测量的东西,而且不免费。
3. 每个工具跑一次,按你平时工作的顺序。不要去救一次跑偏的运行。跑偏是数据。在任务完成时,或在你现实中会放弃的地方停下,并记下是哪一种。
4. 每次运行记四个数字。轮数(到模型的往返次数)、输入 token、输出 token,以及结果是否需要第二轮。如果工具单独显示缓存读取,也留下它——那是解释长会话的那一行。
5. 按你付费的方式给这次运行定价。如果你用订阅,要比的数字是这次运行消耗了窗口的多少,而不是每 token 多少美元。如果你用 API,就把 token 乘上你所处模型的档位费率。不要把两者混在一起;订阅的一次运行和 API 的一次运行不是同一个单位。
记下什么
五个字段就够了,一张索引卡放得下:任务、轮数、输入 token、输出 token、返工。把卡片留着。一个月后你会有六张卡片,以及一幅任何公开对比都给不了你的、关于你自己工作的图,因为没有一篇公开对比拥有你的仓库。
人们忘掉的那个字段是返工。八轮完成却上线一个 bug 的运行,并不比十二轮完成并上线修复的运行便宜。把第二轮、那次纠正、那句“其实不是”算进去。agent 之间真正的成本差异就藏在那里,也是为什么每 token 的价格是价值的一个糟糕代理。
怎么读结果
除以已完成的任务,而不是除以提示。要紧的数字是每个保持修好的任务的成本,而它给工具排出的顺序通常和排行榜不同。有两种模式出现得足够频繁,值得命名。第一种:第一问回答更好的工具在简单任务上赢、在混乱任务上输,因为它每一轮重读更多上下文。第二种:每 token 价格更便宜的工具,一旦把返工算进去就输了,因为便宜的那个版本需要那次纠正。
这个测试不支持的唯一结论是“这个模型更好”。它支持的是“这个模型,在这个 harness 里,做这个任务,花了我这么多”。这句话更不好引用,也有用得多。
对比会跳过的部分:agent 周围的 harness
在你的提示和模型之间有一层决定——哪个文件被整份读取、哪份日志被截断、重复读取是否被拒绝、下一轮之前是否先跑构建。这些决定属于 harness,而它们占了上面那次测试里很大一部分方差。它们也是整个栈里唯一能让你保留已经喜欢的 agent 还能改动的地方。
这是我们产品的论点,所以请把它当成一个待检验的主张,而不是事实。HarnessUp 是一个本地的第二层,通过 Claude Code 和 Codex 的官方 hooks 起作用,横跨十个前端有 151 个工具;它不是代理、不是 MCP 服务器、也不是插件,并且从不读取你的 token 或密钥。Savings 前端里的两个工具直接对应这篇文章:Renew Session,标出继续下去比重新开始更贵的那一轮;以及 First Pass,在编辑后立刻编译,让坏掉的构建跟着下一轮走,而不是自己买一个轮次。面板还运行 HarnessUp Bench,一个按准确度、优化和支出给模型与投入排名的公开榜单,由真实安装的匿名测量构成——包括那些会告诉你我们在某个模型上判断错的测量。
还有诚实的边界:今天这一层自动集成 Claude Code 和 Codex。Cursor 在路线图上,不在盒子里。如果你的测试说对你这份工作 Cursor 更强,正确的做法是留下 Cursor,跳过我们。
一个你守得住的结论
把测试跑在三个任务上而不是一个——一个 bug、一个功能、一个重构——你就会有一个样本量为九次运行的结论,比大多数公开对比的样本都多。把数字写下来,留着卡片,等模型版本变化时再看一遍。最后这点就是这套方法比排行榜更耐用的原因:今天赢的工具不会永远赢,但你检查的方法依然管用。