글: HarnessUp 프로덕트 매니저 Ted Mavera
에이전트 세션에서 무언가를 줄이려면 먼저 그것을 봐야 합니다. Deep Scan이 하는 일이 바로 그것입니다. 이미 컴퓨터에 저장된 대화를 읽고, 컨텍스트가 어디로 갔는지 항목별로 보여줍니다. 모델 호출도, 가입도, 남의 계정에서 빌려온 추정치도 없습니다. Claude Code와 Codex를 위한 토큰 절약 제품군인 HarnessUp의 측정 레이어이며, 무료입니다.
이 글에서는 Deep Scan이 무엇을 하는지, 누구를 위한 것인지, 어떻게 실행하는지, 그리고 스스로를 속이지 않고 결과를 읽는 방법을 설명합니다.
Deep Scan이 실제로 하는 일
Claude Code와 Codex는 작업하는 동안 대화를 이미 디스크에 기록합니다. Deep Scan은 그 트랜스크립트를 열어 지출 지도로 바꿉니다. 어느 라운드가 커졌는지, 한 라운드에서 다음 라운드로 무엇이 다시 전송됐는지, 세션의 얼마가 실제 작업에 쓰이고 얼마가 오버헤드로 갔는지 보여줍니다. 모델을 호출하지 않고 이 작업을 하므로, 사용량을 측정하는 데 추가 비용이 들지 않습니다.
차트보다 중요한 세 가지 특성이 있습니다:
- 로컬에서 실행됩니다. HarnessUp은 100% 로컬입니다. 트랜스크립트는 컴퓨터에서 읽히며, 어떤 것도 밖으로 나가지 않습니다.
- 숫자는 당신의 것입니다. 자신의 기록에서 나오고, 화면에서 계산되며, 나중에 교차 확인할 수 있도록 남아 있습니다. 설정을 바꾼 뒤 그것이 도움이 됐는지 알고 싶을 때도 마찬가지입니다.
- 시험해 보는 데 비용이 들지 않습니다. 로그인도, 이메일도, 비밀번호도 필요 없습니다. Deep Scan과 19개의 다른 측정·모니터링 도구가 무료이므로, 유료 플랜이 그만한 가치가 있는지 결정하기 전에 자신의 낭비를 계산할 수 있습니다.
Deep Scan은 일회성 보고서가 아닙니다. 사슬의 시작점입니다. 측정은 다른 도구 중 무엇을 켤 가치가 있는지 알려주고, 도구는 다시 측정할 새로운 것을 제공합니다.
누구를 위한 도구인가
HarnessUp은 사용자를 세 그룹으로 나누며, Deep Scan은 세 그룹 모두에게 공통된 출발점입니다.
- 정액제 플랜에서 한도에 부딪히는 사람. 5시간 윈도가 하루가 끝나기 훨씬 전에 소진된다면, Deep Scan이 어느 라운드가 비쌌는지, 원인이 재열람인지, 긴 출력인지, 아니면 더 저렴한 모델이 할 수 있는 일을 모델이 했기 때문인지 보여줍니다.
- API로 비용을 지불하는 사람. 모든 토큰이 청구서에 찍히는 상황에서 유용한 질문은 "토큰을 몇 개 썼나"가 아니라 "어떤 토큰이 아무것도 사지 못했나"입니다. 라운드별 뷰가 바로 이 질문에 답합니다.
- 터미널에 살고 싶지 않은 사람. 결과는 로그를 파싱하는 대신 패널에서 읽습니다. 무거운 작업은 하네스 아래에서 일어납니다.
HarnessUp에서 한 가지만 원한다면 측정은 합리적인 선택입니다. 검증할 수 있는 숫자가 검증할 수 없는 절감 주장보다 가치 있습니다.
실행 방법
- HarnessUp을 설치합니다. 패키지는
npm install -g harnessup이며, Windows 다운로드가 있고 macOS와 Linux도 지원합니다. 모든 것이 컴퓨터에서 실행됩니다. HarnessUp은 공식 Anthropic 및 OpenAI 훅을 통해 연결되므로 CLI, 데스크톱 앱, IDE 확장에서 계정으로 또는 API로 작동합니다. - 패널을 엽니다. 계정이 필요 없습니다. 패널은 측정과 제어가 나란히 있는 곳입니다.
- Deep Scan을 실행합니다. 이미 컴퓨터에 저장된 트랜스크립트를 읽습니다. 아무것도 업로드되지 않고, 보고서를 만들기 위해 모델을 호출하지도 않습니다.
- 자신의 기준선을 읽습니다. HarnessUp을 켜고 끈 상태의 라운드별 컨텍스트와 절감된 낭비 비율을 확인합니다. 이것을 점수가 아니라 출발점으로 여기세요.
- 무언가를 켜고 다시 측정합니다. 패널에서 1~8번 키가 도구를 전환하고, Z는 모든 것을 되돌립니다. 한 번에 하나만 바꾸고 미터를 본 뒤, 숫자가 움직일 때만 그 변경을 유지하세요.
결과를 정직하게 읽기
측정 도구를 장식이 아니라 쓸모 있는 것으로 유지하는 두 가지 습관이 있습니다.
첫째, 데모와 자신의 데이터를 구분하세요. 패널에는 예시용 데모 값이 함께 제공되어 기록이 쌓이기 전에 인터페이스가 어떻게 보이는지 확인할 수 있습니다. 자신의 값은 Deep Scan에서, 자신의 트랜스크립트에서 끝에서 끝까지 측정되어 나옵니다. 숫자가 예시라면 패널이 그렇게 표시합니다.
둘째, "최대"는 예측이 아니라 상한으로 읽으세요. HarnessUp은 작업 토큰 최대 78% 절감, 토큰 수율 최대 350% 향상, 같은 플랜에서 최대 3배 더 많은 작업을 내세웁니다. 이는 실제 윈도에서 측정된 가장 큰 개선치이며, 당신에 대한 약속이 아닙니다. 제품이 당신의 수치를 옆에 함께 보여주는 이유는, 정직한 비교란 당신의 이전과 이후 사이의 비교이기 때문입니다.
"최대"의 의미는 실제 윈도에서 측정된 가장 큰 개선치라는 것입니다. 자신의 숫자는 패널에 표시되며, 자신의 기록에서 끝에서 끝까지 측정되고, 교차 확인을 위해 남아 있습니다.
패널을 빠르게 읽는 방법:
| 보이는 것 | 알려주는 것 | 다음에 할 일 |
|---|---|---|
| HarnessUp을 켜고 끈 상태의 라운드별 컨텍스트 | 각 턴이 얼마나 이월되는지, 세션이 얼마나 빨리 부풀어 오르는지 | 격차가 작다면 낭비는 아마 재열람이 아니라 출력이나 모델 선택에 있을 것입니다 |
| 줄어든 낭비 비율 | 켠 도구가 당신의 기록에서 피할 수 있었던 지출 중 얼마를 없앴는지 | 키를 하나씩 켜면서 이 값이 움직이는지 보세요 |
| 세션별 지출과 상한 상태 | 어느 세션이 비쌌는지, 상한이 있었다면 막을 수 있었는지 | Stop Loss를 설정해 폭주하는 세션이 계속되지 않고 끝나게 하세요 |
측정에서 해결로
Deep Scan은 진단이지 치료가 아닙니다. 절감은 이후에 켜는 도구에서 나오며, 각 도구는 청구서의 서로 다른 단계를 겨냥합니다.
- 출력. Response Diet는 에이전트에게 직접적인 답을 요구하고, 이미 읽은 파일을 다시 읽지 못하게 막으며, 거대한 출력이 컨텍스트에 들어가기 전에 잘라냅니다. 서두("물론이죠! 도와드릴게요")는 한 번 비용을 내고 나면 그 뒤의 모든 라운드에서 다시 읽힙니다.
- 읽기. 읽기 단계에도 자체 키 세트가 있으며 그중 Delta Read가 있어, 에이전트가 변하지 않은 것을 다시 섭취하지 않습니다.
- 압축. Smart Compress는 모델을 호출하지 않고 압축하므로, 절감이 또 다른 요청 비용으로 이어지지 않습니다.
- 모델 선택. Cheap Swarm은 26개 작업 클래스에 걸쳐 어떤 서브에이전트가 각 작업을 할지, 알맞은 모델과 노력 수준으로 밀리초 만에 결정합니다. 검색과 린트는 가벼운 모델이, 비싼 모델은 결정만 합니다.
- 강제 한도. Stop Loss는 지출이 상한에 도달하면 세션을 끝내므로, 잘못된 루프가 조용히 윈도를 소모할 수 없습니다.
이 중 어느 것도 프롬프트 방식을 바꾸라고 요구하지 않습니다. 앱에는 200개가 넘는 원클릭 키가 있고, 어느 것이든 클릭 한 번으로 되돌릴 수 있습니다. 먼저 측정하라는 이유가 바로 그것입니다. 기본값을 믿으라고 요구하지 않습니다. 자신의 기록을 보고 도움이 되는 것만 남기라고 요청합니다.
컴퓨터에 남는 것
Deep Scan은 트랜스크립트를 읽고, 트랜스크립트에는 코드, 경로, 때로는 비밀이 들어 있습니다. 그래서 로컬 보장이 사양에서 가장 중요한 문장입니다. HarnessUp은 공식 claude와 codex를 당신의 계정으로 실행하며, 토큰이나 키를 읽거나 저장하거나 전달하지 않는다는 점을 문서로 약속합니다. API를 가로채지 않고 공식 훅 지점에서 연결되며, 로컬 레이어는 p95 50ms 미만으로 실행됩니다.
조직에 세션 데이터를 제3자에게 보내는 것에 관한 규칙이 있다면, 그 아키텍처가 답입니다. 분석은 트랜스크립트가 이미 있는 같은 디스크에서 일어납니다.
설명이 아니라 숫자에서 시작하세요
토큰 절감은 주장하기는 쉽고 체감하기는 어렵습니다. Deep Scan은 그 주장을 당신의 컴퓨터에서 반증 가능하게 만듭니다: 실행하고, 부풀어 오른 라운드를 읽고, 도구 하나를 켜고, 다시 실행하세요. 숫자가 움직이지 않으면 도구를 끄세요. 되돌리기는 키 하나입니다.
프로덕트 매니저로서 제가 신경 쓰는 부분이 바로 이것입니다. 작업 토큰을 최대 78% 절감하는 제품군은 그 78% 중 어느 부분이 자신에게 해당하는지 볼 수 있을 때만 유용합니다. 측정이 그것을 알아내는 방법이며, 확인하는 데 비용이 들지 않습니다.