Por que mais uma comparação
As três ferramentas têm formatos genuinamente diferentes. O Claude Code é um agente nativo de terminal que também roda em um aplicativo de desktop e dentro de extensões de IDE. O Codex é o agente de código da OpenAI, disponível como CLI, na IDE e como um worker em nuvem vinculado a um plano do ChatGPT. O Cursor é a IDE que fez os agentes parecerem nativos no editor e os precifica a partir de um pool de uso compartilhado. Essas diferenças são reais e valem ser conhecidas.
Elas também não são aquilo a que a sua fatura reage. Mova a mesma tarefa entre duas delas e a conta pode mudar por um fator de três sem que uma única linha de código mude — porque o custo mora em quantos turnos a tarefa consome, em quanto contexto cada turno reenvia e em quanto retrabalho acontece antes de a tarefa realmente terminar. Então, em vez de ranquear os agentes em uma tarefa que você não rodou, este artigo traz um protocolo que você pode rodar em uma tarefa que você rodou. Dez minutos, um repositório, três números.
O que realmente difere entre eles
Três diferenças estruturais importam para uma comparação, e o resto é preferência.
Onde o agente mora. Um agente de terminal vê o repositório pelos comandos que você deixa ele rodar. Um agente de IDE vê o estado do editor, os arquivos abertos e os diagnósticos. Um agente em nuvem vê o branch que você entrega. Cada ponto de vista muda os primeiros dez minutos de uma tarefa mais do que muda os últimos dez, e os primeiros dez são onde o contexto é carregado.
Como o uso é medido. Os planos do Claude Code são medidos em janelas, com um bloco de cinco horas e um teto semanal. O uso de código do ChatGPT vem junto com o nível do plano. O Cursor mede um pool compartilhado de requisições e de uso de modelo. Três medidores diferentes, três formas diferentes de bater em um limite às 4 da tarde de uma quinta — e o limite é o que a maioria das pessoas realmente quer saber quando pergunta qual é mais barato.
Como o contexto é tratado. Esta é a que ninguém coloca na tabela de comparação, e ela move a fatura mais do que a escolha do modelo. Se um arquivo grande é entregue inteiro, se uma leitura repetida é recusada, se um log é truncado: essas são decisões do harness, e cada uma das três as toma de forma diferente. São também as decisões que você pode medir.
O teste
Escolha uma tarefa que você já terminou na semana passada. Não um desafio de benchmark — algo do seu próprio backlog, com a bagunça intacta: um bug com descrição vaga, uma funcionalidade pequena com dois arquivos para mexer, um refactor que quebrou alguma coisa. Depois faça isto.
1. Congele o ponto de partida. Faça checkout do commit em que a tarefa começou, em um worktree limpo. As três execuções têm de partir da mesma árvore, ou você estará comparando o estado do seu repositório em vez da ferramenta.
2. Escreva o mesmo prompt. Um parágrafo, aquele que você escreveria de qualquer jeito. Não o ajuste por ferramenta — o ajuste é parte do que você está medindo, e não é de graça.
3. Rode uma vez por ferramenta, na mesma ordem em que você normalmente trabalharia. Não salve uma execução que está se debatendo. O debater-se é dado. Pare quando a tarefa estiver concluída ou quando você teria desistido na vida real, e anote qual dos dois foi.
4. Registre quatro números por execução. Turnos (idas e voltas ao modelo), tokens de entrada, tokens de saída e se o resultado precisou de uma segunda passada. Se a ferramenta mostra leituras de cache separadamente, guarde isso também — é a linha que explica sessões longas.
5. Precifique a execução do jeito que você paga. Se você está em uma assinatura, o número a comparar é quanto da janela a execução consumiu, não dólares por token. Se você está na API, multiplique os tokens pelas faixas do seu modelo. Não misture as duas coisas; uma execução em assinatura e uma execução em API não são a mesma unidade.
O que anotar
Cinco campos bastam, e eles cabem em um cartão de fichário: tarefa, turnos, tokens de entrada, tokens de saída, retrabalho. Guarde o cartão. Em um mês você terá seis cartões e um retrato do seu próprio trabalho que nenhuma comparação publicada pode lhe dar, porque nenhuma comparação publicada tem o seu repositório.
O campo que as pessoas esquecem é o retrabalho. Uma execução que termina em oito turnos e entrega um bug não é mais barata que uma que termina em doze e entrega a correção. Conte a segunda passada, a correção, a mensagem "na verdade, não". É ali que a diferença real de custo entre os agentes se esconde, e é por isso que um preço por token é um péssimo substituto para valor.
Como ler o resultado
Divida por tarefas concluídas, não por prompts. O número que importa é o custo por tarefa que ficou corrigida, e ele costuma ordenar as ferramentas de forma diferente de um leaderboard. Dois padrões aparecem com frequência suficiente para merecer nome. O primeiro: a ferramenta com a melhor primeira resposta vence em tarefas simples e perde em tarefas bagunçadas, porque relê mais contexto por turno. O segundo: a ferramenta com o preço por token mais baixo perde quando o retrabalho entra na conta, porque a versão barata precisou da correção.
A única conclusão que o teste não sustenta é "este modelo é melhor". Ele sustenta "este modelo, neste harness, nesta tarefa, me custou isto". Essa frase é menos citável e muito mais útil.
A parte que as comparações pulam: o harness em volta do agente
Entre o seu prompt e o modelo há uma camada de decisões — qual arquivo é lido inteiro, qual log é truncado, se uma leitura repetida é recusada, se o build roda antes do próximo turno. Essas decisões pertencem ao harness e respondem por boa parte da variância do teste acima. São também a única parte da pilha que você pode mudar mantendo o agente de que já gosta.
Essa é a tese do nosso produto, então trate-a como uma afirmação a verificar, e não como um fato. A HarnessUp é uma segunda camada local que age pelos hooks oficiais do Claude Code e do Codex, com 151 ferramentas em dez frentes; não é proxy, servidor MCP ou plugin, e nunca lê seu token ou sua chave. Duas ferramentas da frente de Savings se ligam diretamente a este artigo: Renew Session, que marca o turno em que continuar custa mais do que reiniciar, e o First Pass, que compila logo depois de uma edição para que um build quebrado viaje com o turno seguinte em vez de comprar um turno próprio. O painel também roda o HarnessUp Bench, um ranking público de modelos e esforços por precisão, otimização e gasto, construído a partir de medições anônimas de instalações reais — incluindo as que diriam que estamos errados sobre um modelo.
E a fronteira honesta: hoje a camada integra Claude Code e Codex automaticamente. O Cursor está no roadmap, não na caixa. Se o seu teste diz que o Cursor vence para o seu trabalho, o movimento correto é ficar com o Cursor e dispensar a gente.
Um veredito que você pode defender
Rode o teste em três tarefas em vez de uma — um bug, uma funcionalidade e um refactor — e você terá um veredito com amostra de nove execuções, o que é mais do que a maioria das comparações publicadas tem. Anote os números, guarde os cartões e reveja-os quando uma versão de modelo mudar. Essa última parte é a razão pela qual este método envelhece melhor que um leaderboard: a ferramenta que vence hoje não vencerá para sempre, mas o seu método de conferir continuará funcionando.