なぜまた比較なのか
3 つのツールは本当に形が違う。Claude Code はターミナルに根ざしたエージェントで、デスクトップアプリや IDE 拡張の中でも動く。Codex は OpenAI のコーディングエージェントで、CLI、IDE、そして ChatGPT のプランに紐づいたクラウドワーカーとして使える。Cursor はエージェントをエディタの自然な一部にした IDE で、共有の利用プールから課金する。そうした違いは本物で、知っておく価値がある。
ただ、あなたの請求書が反応するのはそこではない。同じタスクを 2 つの間で移すだけで、コードを 1 行も変えずに請求額が 3 倍になりうる。コストは、タスクに何ターンかかるか、各ターンがどれだけのコンテキストを再送するか、タスクが本当に終わるまでにどれだけ手戻りがあるかに宿っているからだ。だからこの記事は、あなたが実行していないタスクでエージェントを順位づけする代わりに、あなたが実行したタスクで走らせられるプロトコルを渡す。10 分、1 つのリポジトリ、3 つの数字。
実際に何が違うのか
比較で重要な構造的な違いは 3 つで、残りは好みだ。
エージェントがどこに住んでいるか。 ターミナルのエージェントは、あなたが実行を許したコマンドを通してリポジトリを見る。IDE のエージェントはエディタの状態、開いているファイル、診断を見る。クラウドのエージェントはあなたが渡したブランチを見る。どの視点も、タスクの最後の 10 分より最初の 10 分を大きく変える。そしてコンテキストが読み込まれるのは最初の 10 分だ。
利用量の測り方。 Claude Code のプランはウィンドウ単位で、5 時間ブロックと週次の上限がある。ChatGPT のコーディング利用はプラン階層に付いてくる。Cursor はリクエストとモデル利用の共有プールを測る。3 つの異なるメーター、木曜の午後 4 時に壁にぶつかる 3 つの異なる方法——そしてほとんどの人が「どれが安いか」と尋ねるとき、実際に聞いているのはその壁のことだ。
コンテキストの扱い方。 これが比較表に誰も載せない項目で、モデルの選択より請求額を動かす。大きなファイルを丸ごと渡すのか、繰り返しの読み込みを拒否するのか、ログを切り詰めるのか。これらはハーネスの判断であり、3 つはそれぞれ違う判断をする。そして、あなたが測定できる判断でもある。
テスト
先週すでに終えたタスクを選ぶ。ベンチマークのパズルではなく、自分のバックログから、散らかりをそのままにしたものを。曖昧な説明のバグ、2 つのファイルに触る小さな機能、何かを壊したリファクタ。そうしたら、こうする。
1. 開始点を固定する。 タスクが始まったコミットを、きれいな worktree でチェックアウトする。3 回の実行は同じツリーから始まらなければならない。そうでなければ、ツールではなくリポジトリの状態を比べていることになる。
2. 同じプロンプトを書く。 1 段落、どうせ書いたであろうもの。ツールごとに調整しない。調整もあなたが測定している対象の一部であり、無料ではない。
3. ツールごとに 1 回、普段の順番で実行する。 迷走している実行を救わない。迷走はデータだ。タスクが終わったとき、あるいは現実なら諦めたであろうときに止め、どちらだったかを記録する。
4. 実行ごとに 4 つの数字を残す。 ターン数(モデルへの往復)、入力トークン、出力トークン、そして結果に 2 回目のパスが必要だったか。ツールがキャッシュ読み込みを別に表示するなら、それも残す。長いセッションを説明する行だから。
5. 自分の払い方で実行に値段をつける。 サブスクリプションなら、比べるべき数字はその実行がウィンドウをどれだけ消費したかであり、トークンあたりのドルではない。API なら、トークンにモデルの帯を掛ける。両者を混ぜないこと。サブスクリプションの実行と API の実行は同じ単位ではない。
何を書き留めるか
5 つの欄で足り、それはインデックスカードに収まる。タスク、ターン、入力トークン、出力トークン、手戻り。カードは取っておく。1 か月後には 6 枚のカードと、公開されたどんな比較も与えてくれないあなた自身の仕事の像が手に入る。公開された比較はあなたのリポジトリを持っていないからだ。
人が忘れる欄は手戻りだ。8 ターンで終えてバグを出す実行は、12 ターンで終えて修正を出す実行より安くはない。2 回目のパス、訂正、「いや、やっぱり違う」というメッセージを数える。エージェント間の本当のコスト差はそこに隠れており、トークン単価が価値の代用にならない理由もそこにある。
結果の読み方
プロンプトではなく、完成したタスクで割る。大事な数字は、直ったままのタスクあたりのコストであり、それはたいていランキングとは違う順番でツールを並べる。よく現れる 2 つのパターンには名前をつける価値がある。1 つ目:最初の回答が優れたツールは単純なタスクで勝ち、散らかったタスクで負ける。ターンあたりにより多くのコンテキストを読み直すからだ。2 つ目:トークン単価が安いツールは、手戻りを数えると負ける。安いほうの版が訂正を必要としたからだ。
このテストが支えない結論は「このモデルが優れている」だ。支えるのは「このモデルは、このハーネスで、このタスクで、これだけかかった」。その文は引用しにくく、はるかに役に立つ。
比較が飛ばす部分:エージェントを囲むハーネス
あなたのプロンプトとモデルの間には、判断の層がある。どのファイルを丸ごと読むか、どのログを切り詰めるか、繰り返しの読み込みを拒否するか、次のターンの前にビルドを走らせるか。それらの判断はハーネスに属し、上のテストのばらつきの大きな割合を説明する。そして、すでに気に入っているエージェントを保ったまま変えられる、スタックの唯一の部分でもある。
これは私たちの製品の主張なので、事実ではなく検証すべき主張として扱ってほしい。HarnessUp は Claude Code と Codex の公式フックを通じて動作するローカルの第 2 レイヤーで、10 のフロントに 151 のツールを持つ。プロキシでも、MCP サーバーでも、プラグインでもなく、あなたのトークンやキーを読むことは決してない。節約フロントの 2 つのツールはこの記事に直接対応する。Renew Session は、続けるほうがやり直すより高くつくターンを示し、First Pass は編集直後にコンパイルするので、壊れたビルドは次のターンと一緒に運ばれ、自分のターンを買わない。パネルは HarnessUp Bench も動かしている。モデルとエフォートを精度、最適化、支出で並べる公開ランキングで、実際のインストールからの匿名の測定値で作られている——あるモデルについて私たちが間違っていると告げる測定も含めて。
そして正直な境界線:現在このレイヤーが自動で統合するのは Claude Code と Codex だ。Cursor はロードマップ上にあり、箱の中にはない。あなたのテストが、あなたの仕事では Cursor が勝つと言うなら、正しい行動は Cursor を残して私たちを飛ばすことだ。
擁護できる判定
1 つではなく 3 つのタスクでテストを走らせよう——バグ、機能、リファクタ。そうすればサンプルサイズ 9 回の判定が手に入る。ほとんどの公開比較より多い。数字を書き留め、カードを保管し、モデルのバージョンが変わったら見返す。この最後の部分が、この方法がランキングより長持ちする理由だ。今日勝つツールは永遠には勝たないが、あなたの確かめ方はまだ機能する。