← 全部文章

对比

Claude Code vs Codex vs Cursor:为你的账单做一次 10 分钟测试

你能找到的每一篇对比,都用同样的证据回答同一个问题——哪一款写代码更好:一个下午、一个任务、一位作者。决定你账单的问题更窄,而且可测量。

本文由 Ted Mavera 撰写,他是 HarnessUp 的产品经理,HarnessUp 正是文中所述工具的开发者。本博客的文章在人工智能的协助下撰写,并在发布前由团队审阅。

漆面书桌上并排三台显示器,每台各显示一个标志——珊瑚色星芒、白色绳结和黑色立方体——前方各放着一张打勾的纸、一张小票和几摞硬币,最前面是一只秒表。

为什么还要再来一篇对比

这三款工具的形状确实不同。Claude Code 是终端原生的 agent,同时也能跑在桌面应用和 IDE 扩展里。Codex 是 OpenAI 的编码 agent,可以作为 CLI、在 IDE 里,或作为绑定 ChatGPT 套餐的云端 worker 使用。Cursor 是让 agent 在编辑器里显得自然的 IDE,按共享的用量池计价。这些差异是真实的,也值得了解。

但它们也不是你的账单会反应的东西。把同一个任务在两款之间搬一次,一行代码都不改,账单也可能变成三倍——因为成本住在任务要花多少轮、每一轮要重发多少上下文,以及任务真正完成前发生了多少返工里。所以这篇文章不去用你没跑过的任务给 agent 排名,而是给你一个能用在已经跑过的任务上的协议。十分钟,一个仓库,三个数字。

它们之间真正不同的是什么

对一次比较来说,有三处结构性差异要紧,其余都是偏好。

agent 住在哪里。终端 agent 通过你允许它运行的命令看仓库。IDE agent 看编辑器的状态、打开的文件和诊断信息。云端 agent 看到的是你交给它的分支。每个视角改变任务头十分钟的程度,都大于改变最后十分钟,而头十分钟正是上下文被载入的地方。

用量如何计量。Claude Code 的套餐按窗口计量,有五小时区块和周上限。ChatGPT 的编码用量随套餐档位而来。Cursor 计量请求与模型用量的共享池。三种不同的表,三种在周四下午四点撞墙的不同方式——而当人们问哪款更便宜时,他们真正在问的往往是那堵墙。

上下文如何处理。这是没人写进对比表的一项,而它对账单的影响比选哪个模型更大。大文件是否整份送达、重复读取是否被拒绝、日志是否被截断:这些都是 harness 的决定,而三者各自做得不同。它们也是你能测量的决定。

木桌上一张索引卡,旁边放着秒表、一支铅笔和三枚一模一样的细小 token,摆成一排,俯拍。
同一个任务,同一个起始提交,三次运行。这张卡片就是整个协议。

测试

挑一个你上周已经做完的任务。不要基准测试里的谜题——从你自己的待办里挑,保留原本的混乱:描述含糊的 bug、要动两个文件的小功能、弄坏了什么东西的重构。然后这样做。

1. 冻结起点。在一个干净的工作树里,检出任务开始时的那个提交。三次运行必须从同一棵树出发,否则你比较的是仓库的状态,而不是工具。

2. 写同一个提示。一段话,就是你本来会写的那一段。不要为每个工具单独调它——调整本身也是你在测量的东西,而且不免费。

3. 每个工具跑一次,按你平时工作的顺序。不要去救一次跑偏的运行。跑偏是数据。在任务完成时,或在你现实中会放弃的地方停下,并记下是哪一种。

4. 每次运行记四个数字。轮数(到模型的往返次数)、输入 token、输出 token,以及结果是否需要第二轮。如果工具单独显示缓存读取,也留下它——那是解释长会话的那一行。

5. 按你付费的方式给这次运行定价。如果你用订阅,要比的数字是这次运行消耗了窗口的多少,而不是每 token 多少美元。如果你用 API,就把 token 乘上你所处模型的档位费率。不要把两者混在一起;订阅的一次运行和 API 的一次运行不是同一个单位。

记下什么

五个字段就够了,一张索引卡放得下:任务、轮数、输入 token、输出 token、返工。把卡片留着。一个月后你会有六张卡片,以及一幅任何公开对比都给不了你的、关于你自己工作的图,因为没有一篇公开对比拥有你的仓库。

人们忘掉的那个字段是返工。八轮完成却上线一个 bug 的运行,并不比十二轮完成并上线修复的运行便宜。把第二轮、那次纠正、那句“其实不是”算进去。agent 之间真正的成本差异就藏在那里,也是为什么每 token 的价格是价值的一个糟糕代理。

怎么读结果

除以已完成的任务,而不是除以提示。要紧的数字是每个保持修好的任务的成本,而它给工具排出的顺序通常和排行榜不同。有两种模式出现得足够频繁,值得命名。第一种:第一问回答更好的工具在简单任务上赢、在混乱任务上输,因为它每一轮重读更多上下文。第二种:每 token 价格更便宜的工具,一旦把返工算进去就输了,因为便宜的那个版本需要那次纠正。

这个测试不支持的唯一结论是“这个模型更好”。它支持的是“这个模型,在这个 harness 里,做这个任务,花了我这么多”。这句话更不好引用,也有用得多。

对比会跳过的部分:agent 周围的 harness

在你的提示和模型之间有一层决定——哪个文件被整份读取、哪份日志被截断、重复读取是否被拒绝、下一轮之前是否先跑构建。这些决定属于 harness,而它们占了上面那次测试里很大一部分方差。它们也是整个栈里唯一能让你保留已经喜欢的 agent 还能改动的地方。

这是我们产品的论点,所以请把它当成一个待检验的主张,而不是事实。HarnessUp 是一个本地的第二层,通过 Claude Code 和 Codex 的官方 hooks 起作用,横跨十个前端有 151 个工具;它不是代理、不是 MCP 服务器、也不是插件,并且从不读取你的 token 或密钥。Savings 前端里的两个工具直接对应这篇文章:Renew Session,标出继续下去比重新开始更贵的那一轮;以及 First Pass,在编辑后立刻编译,让坏掉的构建跟着下一轮走,而不是自己买一个轮次。面板还运行 HarnessUp Bench,一个按准确度、优化和支出给模型与投入排名的公开榜单,由真实安装的匿名测量构成——包括那些会告诉你我们在某个模型上判断错的测量。

还有诚实的边界:今天这一层自动集成 Claude Code 和 Codex。Cursor 在路线图上,不在盒子里。如果你的测试说对你这份工作 Cursor 更强,正确的做法是留下 Cursor,跳过我们。

一个你守得住的结论

把测试跑在三个任务上而不是一个——一个 bug、一个功能、一个重构——你就会有一个样本量为九次运行的结论,比大多数公开对比的样本都多。把数字写下来,留着卡片,等模型版本变化时再看一遍。最后这点就是这套方法比排行榜更耐用的原因:今天赢的工具不会永远赢,但你检查的方法依然管用。

用你自己的数字跑一遍。HarnessUp 在本地免费测量你的 Claude Code 和 Codex 会话——同样的四个字段,不用索引卡。

免费安装