왜 또 다른 비교인가
세 도구는 정말로 모양이 다르다. Claude Code는 터미널 네이티브 에이전트이며 데스크톱 앱과 IDE 확장에서도 실행된다. Codex는 OpenAI의 코딩 에이전트로, CLI, IDE, 그리고 ChatGPT 요금제에 묶인 클라우드 워커로 쓸 수 있다. Cursor는 에이전트를 편집기에 자연스럽게 느껴지게 만든 IDE이며, 공유 사용량 풀에서 가격을 매긴다. 이 차이는 실제이고 알아 둘 만하다.
그러나 당신의 청구서가 반응하는 것도 그것이 아니다. 같은 과제를 둘 사이에서 옮기면 코드 한 줄 바뀌지 않아도 청구서가 세 배까지 달라질 수 있다. 비용은 과제가 몇 턴을 쓰는지, 각 턴이 얼마나 많은 컨텍스트를 다시 보내는지, 과제가 실제로 끝나기 전에 얼마나 많은 재작업이 일어나는지에 달려 있기 때문이다. 그래서 이 글은 당신이 돌리지 않은 과제로 에이전트를 줄 세우는 대신, 당신이 이미 돌린 과제에 적용할 프로토콜을 준다. 10분, 저장소 하나, 숫자 세 개.
실제로 무엇이 다른가
비교에서 중요한 구조적 차이는 세 가지이고, 나머지는 취향이다.
에이전트가 사는 곳. 터미널 에이전트는 당신이 허용한 명령을 통해 저장소를 본다. IDE 에이전트는 편집기 상태, 열린 파일, 진단을 본다. 클라우드 에이전트는 당신이 넘겨준 브랜치를 본다. 각 시점은 과제의 마지막 10분보다 처음 10분을 더 크게 바꾸고, 처음 10분이 컨텍스트가 실리는 곳이다.
사용량을 어떻게 계량하는가. Claude Code 요금제는 5시간 블록과 주간 상한으로 구간 계량된다. ChatGPT의 코딩 사용량은 요금제 등급에 따라온다. Cursor는 요청과 모델 사용량의 공유 풀을 계량한다. 세 가지 계량기, 목요일 오후 4시에 벽에 부딪히는 세 가지 방식. 그리고 어느 쪽이 더 싼지 물을 때 사람들이 실제로 묻는 것은 그 벽이다.
컨텍스트를 어떻게 다루는가. 비교 표에 아무도 넣지 않는 항목이고, 모델 선택보다 청구서를 더 많이 움직인다. 큰 파일을 통째로 줄지, 반복 읽기를 거부할지, 로그를 잘라낼지. 이것들은 하네스의 결정이고, 셋이 각각 다르게 내린다. 측정할 수 있는 결정이기도 하다.
시험
지난주에 이미 끝낸 과제를 고르라. 벤치마크 퍼즐이 아니라 당신의 백로그에 있던 것, 지저분한 상태 그대로. 설명이 모호한 버그, 파일 두 개를 건드리는 작은 기능, 무언가를 깨뜨린 리팩터링. 그다음 이렇게 하라.
1. 시작점을 고정하라. 과제가 시작된 커밋을 깨끗한 워크트리에서 체크아웃하라. 세 번의 실행이 같은 트리에서 시작해야 한다. 그렇지 않으면 도구가 아니라 저장소의 상태를 비교하는 셈이다.
2. 같은 프롬프트를 쓰라. 한 문단, 어차피 썼을 그 문단. 도구마다 다듬지 마라. 그 다듬기도 당신이 측정하는 대상의 일부이고, 공짜가 아니다.
3. 도구마다 한 번씩, 평소 일하는 순서대로 실행하라. 헤매는 실행을 구해 주지 마라. 그 헤맴이 데이터다. 과제가 끝났을 때, 또는 현실이라면 포기했을 지점에서 멈추고, 둘 중 어느 쪽이었는지 적어 두라.
4. 실행마다 네 개의 숫자를 기록하라. 턴(모델로의 왕복 횟수), 입력 token, 출력 token, 그리고 결과에 두 번째 패스가 필요했는지. 도구가 캐시 읽기를 따로 보여 준다면 그것도 남겨라. 긴 세션을 설명하는 줄이다.
5. 실행의 값을 당신이 지불하는 방식으로 매겨라. 구독을 쓴다면 비교할 숫자는 실행이 구간을 얼마나 소모했는지이지, token당 달러가 아니다. API를 쓴다면 token에 당신 모델의 구간 요율을 곱하라. 둘을 섞지 마라. 구독 실행과 API 실행은 같은 단위가 아니다.
무엇을 적을 것인가
다섯 개 항목이면 충분하고, 색인 카드 한 장에 들어간다. 과제, 턴, 입력 token, 출력 token, 재작업. 카드를 보관하라. 한 달 뒤에는 카드 여섯 장과, 어떤 공개 비교도 줄 수 없는 당신 작업의 그림을 갖게 된다. 공개된 비교 중에 당신의 저장소를 가진 것은 없기 때문이다.
사람들이 잊는 항목은 재작업이다. 여덟 턴에 끝나고 버그를 내보내는 실행은, 열두 턴에 끝나고 수정을 내보내는 실행보다 싸지 않다. 두 번째 패스, 정정, “아니, 그게 아니라”라는 메시지를 세라. 에이전트 사이의 진짜 비용 차이가 숨어 있는 곳이고, token당 가격이 가치의 나쁜 대리 지표인 이유다.
결과를 읽는 법
프롬프트가 아니라 완료된 과제로 나누라. 중요한 숫자는 고쳐진 채로 남은 과제당 비용이고, 이 숫자는 보통 리더보드와 다른 순서로 도구를 배열한다. 자주 나타나서 이름 붙일 만한 패턴이 둘 있다. 첫째, 첫 답변이 더 좋은 도구는 단순한 과제에서 이기고 지저분한 과제에서 지며, 턴마다 더 많은 컨텍스트를 다시 읽기 때문이다. 둘째, token당 가격이 더 싼 도구는 재작업을 세면 지고, 싼 쪽이 정정을 필요로 했기 때문이다.
이 시험이 뒷받침하지 않는 결론은 “이 모델이 더 낫다” 하나다. 그것이 뒷받침하는 것은 “이 모델이, 이 하네스에서, 이 과제에, 나에게 이만큼 들었다”이다. 인용하기는 덜 좋고 훨씬 더 유용한 문장이다.
비교가 건너뛰는 부분: 에이전트를 둘러싼 하네스
당신의 프롬프트와 모델 사이에는 결정의 층이 있다. 어떤 파일을 통째로 읽을지, 어떤 로그를 잘라낼지, 반복 읽기를 거부할지, 다음 턴 전에 빌드를 돌릴지. 그 결정들은 하네스의 것이고, 위 시험의 편차에서 큰 몫을 차지한다. 이미 마음에 드는 에이전트를 유지한 채 바꿀 수 있는 스택의 유일한 부분이기도 하다.
그것이 우리 제품의 논지이므로, 사실이 아니라 확인해 볼 주장으로 받아들여라. HarnessUp은 Claude Code와 Codex의 공식 훅을 통해 작동하는 로컬 두 번째 계층이며, 열 개의 프런트에 걸쳐 151개의 도구가 있다. 프록시도, MCP 서버도, 플러그인도 아니고, 당신의 token이나 키를 절대 읽지 않는다. Savings 프런트의 두 도구는 이 글에 그대로 대응한다. Renew Session은 계속하는 것이 다시 시작하는 것보다 비싸지는 턴을 표시하고, First Pass는 편집 직후 컴파일하여 깨진 빌드가 자기 턴을 하나 사는 대신 다음 턴에 함께 가게 한다. 패널은 HarnessUp Bench도 운영하는데, 정확도, 최적화, 지출로 모델과 노력 수준을 매긴 공개 순위이며, 실제 설치의 익명 측정으로 만들어지고, 우리가 어떤 모델에 대해 틀렸다고 말해 줄 측정까지 포함한다.
정직한 경계도 말하자. 오늘 이 계층은 Claude Code와 Codex를 자동으로 통합한다. Cursor는 박스 안이 아니라 로드맵에 있다. 당신의 시험이 당신의 작업에는 Cursor가 이긴다고 말한다면, 옳은 선택은 Cursor를 유지하고 우리를 건너뛰는 것이다.
변호할 수 있는 결론
과제 하나가 아니라 셋에 시험을 돌려라. 버그, 기능, 리팩터링. 그러면 아홉 번의 실행을 표본으로 하는 결론을 갖게 되고, 이는 대부분의 공개 비교보다 많다. 숫자를 적고, 카드를 보관하고, 모델 버전이 바뀔 때 다시 보라. 마지막 부분이 이 방법이 리더보드보다 오래 가는 이유다. 오늘 이기는 도구가 영원히 이기지는 않겠지만, 확인하는 방법은 여전히 작동할 것이다.