एक और तुलना क्यों
तीनों टूल सचमुच अलग आकार के हैं। Claude Code एक टर्मिनल-नेटिव एजेंट है जो डेस्कटॉप ऐप में और IDE एक्सटेंशन के अंदर भी चलता है। Codex, OpenAI का कोडिंग एजेंट है, जो CLI के रूप में, IDE में और ChatGPT प्लान से जुड़े क्लाउड वर्कर के रूप में उपलब्ध है। Cursor वह IDE है जिसने एजेंटों को एडिटर में स्वाभाविक महसूस कराया और उन्हें एक साझा उपयोग पूल से मूल्य देता है। ये अंतर वास्तविक हैं और जानने योग्य हैं।
वे यह भी नहीं हैं जिन पर आपका बिल प्रतिक्रिया देता है। वही काम इनमें से दो के बीच ले जाइए और बिल तीन गुना बदल सकता है, बिना कोड की एक पंक्ति बदले — क्योंकि लागत इसमें रहती है कि काम में कितने टर्न लगते हैं, हर टर्न कितना कॉन्टेक्स्ट दोबारा भेजता है, और काम वास्तव में पूरा होने से पहले कितना दोबारा काम हो जाता है। इसलिए किसी ऐसे काम पर एजेंटों को क्रम देने के बजाय जो आपने नहीं चलाया, यह लेख आपको एक प्रोटोकॉल देता है जिसे आप उस काम पर चला सकते हैं जो आपने चलाया। दस मिनट, एक रिपॉज़िटरी, तीन संख्याएँ।
इनके बीच असल में क्या अलग है
तुलना के लिए तीन संरचनात्मक अंतर मायने रखते हैं, बाक़ी पसंद है।
एजेंट कहाँ रहता है। टर्मिनल एजेंट रिपॉज़िटरी को उन कमांडों से देखता है जो आप उसे चलाने देते हैं। IDE एजेंट एडिटर की स्थिति, खुली फ़ाइलें और डायग्नोस्टिक्स देखता है। क्लाउड एजेंट वह ब्रांच देखता है जो आप उसे सौंपते हैं। हर दृष्टिकोण किसी काम के पहले दस मिनट को आख़िरी दस से ज़्यादा बदलता है, और पहले दस मिनट ही वे हैं जहाँ कॉन्टेक्स्ट लोड होता है।
उपयोग कैसे मापा जाता है। Claude Code के प्लान विंडो में मापे जाते हैं, पाँच घंटे का ब्लॉक और साप्ताहिक सीमा के साथ। ChatGPT का कोडिंग उपयोग प्लान टियर के साथ आता है। Cursor अनुरोधों और मॉडल उपयोग के एक साझा पूल को मापता है। तीन अलग मीटर, गुरुवार दोपहर चार बजे दीवार से टकराने के तीन अलग तरीक़े — और जब लोग पूछते हैं कि कौन सस्ता है, तो असल में वे इसी दीवार के बारे में पूछ रहे होते हैं।
कॉन्टेक्स्ट कैसे संभाला जाता है। यही वह चीज़ है जो कोई तुलना तालिका में नहीं डालता, और यह बिल को मॉडल के चुनाव से ज़्यादा हिलाती है। क्या बड़ी फ़ाइल पूरी दी जाती है, क्या दोहराई गई पढ़ाई से इनकार किया जाता है, क्या लॉग काटा जाता है: ये हार्नेस के निर्णय हैं, और तीनों उन्हें अलग-अलग तरह से लेते हैं। ये वही निर्णय भी हैं जिन्हें आप माप सकते हैं।
टेस्ट
ऐसा काम चुनिए जो आपने पिछले हफ़्ते ही पूरा किया। कोई बेंचमार्क पहेली नहीं — अपने ही बैकलॉग से कुछ, गड़बड़ सहित: धुँधले विवरण वाला एक बग, छोटा फ़ीचर जिसमें दो फ़ाइलें छूनी हैं, एक रिफ़ैक्टर जिसने कुछ तोड़ दिया। फिर यह कीजिए।
1. शुरुआती बिंदु जमा दीजिए। जिस कमिट पर काम शुरू हुआ था, उसे एक साफ़ worktree में चेकआउट कीजिए। तीनों रन एक ही ट्री से शुरू होने चाहिए, वरना आप टूल के बजाय अपनी रिपॉज़िटरी की स्थिति की तुलना कर रहे हैं।
2. वही प्रॉम्प्ट लिखिए। एक पैराग्राफ़, वही जो आप वैसे भी लिखते। हर टूल के लिए उसे ट्यून मत कीजिए — ट्यूनिंग भी उसी चीज़ का हिस्सा है जिसे आप माप रहे हैं, और वह मुफ़्त नहीं है।
3. हर टूल पर एक बार चलाइए, उसी क्रम में जिसमें आप सामान्य रूप से काम करते हैं। जो रन लड़खड़ा रहा हो उसे बचाइए मत। लड़खड़ाना भी डेटा है। तब रोकिए जब काम पूरा हो जाए या जब आप असल ज़िंदगी में हार मान लेते, और लिख लीजिए कि कौन-सा हुआ।
4. प्रति रन चार संख्याएँ दर्ज कीजिए। टर्न (मॉडल तक राउंड ट्रिप), इनपुट टोकन, आउटपुट टोकन, और क्या परिणाम को दूसरा दौर चाहिए था। अगर टूल कैश रीड अलग दिखाता है तो वह भी रखिए — यही वह पंक्ति है जो लंबे सेशन समझाती है।
5. रन की क़ीमत वैसे लगाइए जैसे आप चुकाते हैं। अगर आप सब्सक्रिप्शन पर हैं, तो तुलना की संख्या यह है कि रन ने विंडो का कितना हिस्सा खाया, प्रति टोकन डॉलर नहीं। अगर आप API पर हैं, तो टोकन को अपने मॉडल की पट्टियों से गुणा कीजिए। दोनों को मिलाइए मत; सब्सक्रिप्शन का रन और API का रन एक इकाई नहीं हैं।
क्या लिख लें
पाँच फ़ील्ड काफ़ी हैं, और वे एक इंडेक्स कार्ड पर आ जाते हैं: काम, टर्न, टोकन अंदर, टोकन बाहर, दोबारा काम। कार्ड रखिए। एक महीने में आपके पास छह कार्ड होंगे और अपने काम की एक तस्वीर, जो कोई प्रकाशित तुलना नहीं दे सकती, क्योंकि किसी प्रकाशित तुलना के पास आपकी रिपॉज़िटरी नहीं है।
जो फ़ील्ड लोग भूलते हैं वह दोबारा काम है। आठ टर्न में ख़त्म होकर बग छोड़ने वाला रन बारह टर्न में ख़त्म होकर ठीक करने वाले रन से सस्ता नहीं है। दूसरा दौर गिनिए, सुधार गिनिए, "असल में, नहीं" वाला संदेश गिनिए। एजेंटों के बीच असली लागत का अंतर यहीं छिपा है, और इसीलिए प्रति-टोकन क़ीमत मूल्य का बुरा प्रतिनिधि है।
नतीजा कैसे पढ़ें
प्रॉम्प्टों से नहीं, पूरे हुए कामों से भाग दीजिए। मायने रखने वाली संख्या है प्रति काम की लागत जो ठीक बना रहा, और यह आम तौर पर टूलों को लीडरबोर्ड से अलग क्रम में रखती है। दो पैटर्न इतने बार दिखते हैं कि नाम देने योग्य हैं। पहला: जिस टूल का पहला जवाब बेहतर है वह सीधे-सादे कामों में जीतता है और गड़बड़ वाले कामों में हारता है, क्योंकि वह प्रति टर्न ज़्यादा कॉन्टेक्स्ट दोबारा पढ़ता है। दूसरा: जिस टूल की प्रति-टोकन क़ीमत सस्ती है वह दोबारा काम गिनने पर हार जाता है, क्योंकि सस्ते संस्करण को सुधार की ज़रूरत पड़ी।
एक नतीजा जो यह टेस्ट नहीं देता वह है "यह मॉडल बेहतर है"। यह देता है "इस मॉडल ने, इस हार्नेस में, इस काम पर, मुझसे इतना खर्च कराया"। वह वाक्य उद्धरण के लिए कम उपयुक्त और कहीं ज़्यादा उपयोगी है।
जो हिस्सा तुलनाएँ छोड़ देती हैं: एजेंट के आसपास का हार्नेस
आपके प्रॉम्प्ट और मॉडल के बीच निर्णयों की एक परत है — कौन-सी फ़ाइल पूरी पढ़ी जाती है, कौन-सा लॉग काटा जाता है, क्या दोहराई गई पढ़ाई से इनकार होता है, क्या बिल्ड अगले टर्न से पहले चलता है। ये निर्णय हार्नेस के हैं, और ऊपर के टेस्ट में भिन्नता का बड़ा हिस्सा इन्हीं का है। ये स्टैक का वही हिस्सा भी हैं जिसे आप उस एजेंट को रखते हुए बदल सकते हैं जो आपको पहले से पसंद है।
यह हमारे उत्पाद का थीसिस है, इसलिए इसे तथ्य नहीं, जाँचने योग्य दावा मानिए। HarnessUp एक स्थानीय दूसरी परत है जो Claude Code और Codex के आधिकारिक हुक्स के ज़रिए काम करती है, दस फ़्रंटों में 151 टूल के साथ; यह प्रॉक्सी, MCP सर्वर या प्लगइन नहीं है, और यह कभी आपका टोकन या कुंजी नहीं पढ़ती। Savings फ़्रंट के दो टूल सीधे इस लेख से जुड़ते हैं: Renew Session, जो उस टर्न को चिह्नित करता है जहाँ जारी रखना दोबारा शुरू करने से महँगा है, और First Pass, जो संपादन के तुरंत बाद कंपाइल करता है ताकि टूटा बिल्ड अगले टर्न के साथ चले, न कि अपना एक टर्न ख़रीदे। पैनल HarnessUp Bench भी चलाता है, जो सटीकता, अनुकूलन और ख़र्च के आधार पर मॉडलों और प्रयासों की सार्वजनिक रैंकिंग है, जो वास्तविक इंस्टॉलेशनों के अनाम मापनों से बनी है — उन सहित जो बताएँ कि हम किसी मॉडल के बारे में ग़लत हैं।
और ईमानदार सीमा: आज यह परत Claude Code और Codex को स्वचालित रूप से जोड़ती है। Cursor रोडमैप पर है, डिब्बे में नहीं। अगर आपका टेस्ट कहता है कि आपके काम के लिए Cursor जीतता है, तो सही क़दम है Cursor रखना और हमें छोड़ देना।
एक फ़ैसला जिसे आप बचा सकें
टेस्ट एक के बजाय तीन कामों पर चलाइए — एक बग, एक फ़ीचर और एक रिफ़ैक्टर — और आपके पास नौ रन के नमूने वाला फ़ैसला होगा, जो ज़्यादातर प्रकाशित तुलनाओं के पास है उससे बड़ा है। संख्याएँ लिखिए, कार्ड रखिए, और जब मॉडल का संस्करण बदले तब उन पर लौटिए। यही कारण है कि यह तरीक़ा लीडरबोर्ड से बेहतर पुराना होता है: आज जीतने वाला टूल हमेशा नहीं जीतेगा, पर जाँचने का आपका तरीक़ा अब भी काम करेगा।