← כל המאמרים

השוואה

Claude Code מול Codex מול Cursor: מבחן עשר הדקות לחשבון שלכם

כל השוואה שתמצאו עונה על אותה שאלה — מי כותב קוד טוב יותר — באותן ראיות: צהריים אחד, משימה אחת, כותב אחד. השאלה שמכריעה את החשבון שלכם צרה יותר ואפשר למדוד אותה.

נכתב על ידי Ted Mavera, מנהל מוצר ב-HarnessUp, החברה שמייצרת את הכלי המתואר כאן. הטקסטים בבלוג הזה נכתבים בעזרת בינה מלאכותית ונבדקים על ידי הצוות לפני הפרסום.

שלושה מסכים זה לצד זה על שולחנות צבועים, בכל אחד סימן אחד — כוכב בצבע אלמוג, קשר לבן וקובייה שחורה — ולפניו דף מסומן, קבלה וערמות מטבעות, ובחזית שעון עצר.

למה עוד השוואה

שלושת הכלים באמת שונים בצורתם. Claude Code הוא סוכן יליד טרמינל שגם רץ באפליקציית שולחן העבודה ובתוך הרחבות של IDE. Codex הוא סוכן הקידוד של OpenAI, זמין כ-CLI, ב-IDE וכעובד ענן הקשור למסלול ChatGPT. Cursor הוא ה-IDE שהפך סוכנים לדבר טבעי בעורך ומתמחר אותם ממאגר שימוש משותף. ההבדלים האלה אמיתיים וראוי להכיר אותם.

הם גם לא מה שהחשבון שלכם מגיב לו. העבירו את אותה משימה בין שניים מהם והחשבון יכול להשתנות פי שלושה בלי שאף שורת קוד תשתנה — כי העלות יושבת במספר התורות שהמשימה דורשת, בכמה קונטקסט כל תור שולח מחדש, ובכמה עבודה חוזרת קורית לפני שהמשימה באמת נגמרת. לכן, במקום לדרג את הסוכנים על משימה שלא הרצתם, המאמר הזה נותן פרוטוקול שאפשר להריץ על משימה שכן הרצתם. עשר דקות, מאגר אחד, שלושה מספרים.

מה באמת שונה ביניהם

שלושה הבדלים מבניים חשובים להשוואה, והשאר העדפה.

איפה הסוכן חי. סוכן טרמינל רואה את המאגר דרך הפקודות שאתם מאפשרים לו להריץ. סוכן IDE רואה את מצב העורך, הקבצים הפתוחים והאבחנות. סוכן ענן רואה את הענף שאתם מוסרים לו. כל נקודת מבט משנה את עשר הדקות הראשונות של המשימה יותר משת היא משנה את עשר האחרונות, ובעשר הראשונות נטען הקונטקסט.

איך השימוש נמדד. מסלולי Claude Code נמדדים בחלונות, עם בלוק של חמש שעות ותקרה שבועית. שימוש הקידוד של ChatGPT מגיע יחד עם מסלול המנוי. Cursor מודד מאגר משותף של בקשות ושימוש במודלים. שלושה מונים שונים, שלוש דרכים שונות להיתקל בקיר בארבע אחר הצהריים ביום חמישי — והקיר הוא מה שרוב האנשים שואלים עליו באמת כשהם שואלים מי זול יותר.

איך מטופל הקונטקסט. זה מה שאף אחד לא מכניס לטבלת ההשוואה, והוא מזיז את החשבון יותר מבחירת המודל. אם קובץ גדול נמסר בשלמותו, אם קריאה חוזרת נדחית, אם לוג נחתך: אלה החלטות של ה-harness, וכל אחד מהשלושה מקבל אותן אחרת. אלה גם ההחלטות שאפשר למדוד.

כרטיס אינדקס אחד על שולחן עץ עם שעון עצר, עיפרון ושלושה אסימונים קטנים זהים מסודרים בשורה, מצולם מלמעלה.
אותה משימה, אותו קומיט התחלתי, שלוש הרצות. הכרטיס הוא כל הפרוטוקול.

המבחן

בחרו משימה שכבר סיימתם בשבוע שעבר. לא חידת בנצ'מרק — משהו מהתור שלכם, עם הבלגן כמו שהוא: באג עם תיאור מעורפל, פיצ'ר קטן עם שני קבצים לגעת בהם, ריפקטור ששבר משהו. ואז עשו את זה.

1. קפאו את נקודת ההתחלה. עברו לקומיט שבו התחילה המשימה, ב-worktree נקי. שלוש ההרצות חייבות להתחיל מאותו עץ, אחרת אתם משווים את מצב המאגר שלכם ולא את הכלי.

2. כתבו את אותו פרומפט. פסקה אחת, זו שהייתם כותבים בכל מקרה. אל תכווננו אותו לכל כלי — הכיונון הוא חלק ממה שאתם מודדים, והוא לא בחינם.

3. הריצו פעם אחת לכל כלי, באותו סדר שבו אתם עובדים בדרך כלל. אל תצילו הרצה שמגששת. הגישוש הוא נתון. עצרו כשהמשימה נגמרת או כשהייתם מוותרים בחיים האמיתיים, וציינו מה משניהם היה.

4. רשמו ארבעה מספרים לכל הרצה. תורות (הלוך-חזור אל המודל), טוקני קלט, טוקני פלט, והאם התוצאה נזקקה למעבר שני. אם הכלי מציג קריאות מטמון בנפרד, שמרו גם אותן — זו השורה שמסבירה סשנים ארוכים.

5. תמחרו את ההרצה לפי איך שאתם משלמים. אם אתם במנוי, המספר להשוואה הוא כמה מהחלון ההרצה צרכה, ולא דולרים לטוקן. אם אתם ב-API, כפילו את הטוקנים בחטיבות של המודל שלכם. אל תערבבו בין השניים; הרצה במנוי והרצה ב-API אינן אותה יחידה.

מה לרשום

חמישה שדות מספיקים, והם נכנסים על כרטיס אינדקס: משימה, תורות, טוקנים פנימה, טוקנים החוצה, עבודה חוזרת. שמרו את הכרטיס. בעוד חודש יהיו לכם שישה כרטיסים ותמונה של העבודה שלכם שאין השוואה מפורסמת שיכולה לתת לכם, כי לאף השוואה מפורסמת אין את המאגר שלכם.

השדה שאנשים שוכחים הוא עבודה חוזרת. הרצה שנגמרת בשמונה תורות ומשלחת באג אינה זולה מהרצה שנגמרת בשתים עשרה ומשלחת את התיקון. ספרו את המעבר השני, את התיקון, את הודעת "בעצם, לא". שם מתחבא הבדל העלות האמיתי בין סוכנים, ולכן מחיר לטוקן הוא שליח גרוע לערך.

איך לקרוא את התוצאה

חלקו במשימות שהושלמו, לא בפרומפטים. המספר שחשוב הוא עלות למשימה שנשארה תקינה, והוא בדרך כלל מסדר את הכלים אחרת מטבלת מובילים. שני דפוסים מופיעים לעתים קרובות מספיק כדי לתת להם שם. הראשון: הכלי עם התשובה הראשונה הטובה יותר מנצח במשימות פשוטות ומפסיד במשימות מבולגנות, כי הוא קורא מחדש יותר קונטקסט בכל תור. השני: הכלי עם המחיר הזול יותר לטוקן מפסיד ברגע שסופרים עבודה חוזרת, כי הגרסה הזולה נזקקה לתיקון.

המסקנה היחידה שהמבחן לא תומך בה היא "המודל הזה טוב יותר". מה שהוא תומך בו הוא "המודל הזה, ב-harness הזה, על המשימה הזאת, עלה לי כל כך". המשפט הזה פחות מצוטט והרבה יותר שימושי.

החלק שההשוואות מדלגות עליו: ה-harness סביב הסוכן

בין הפרומפט שלכם למודל יש שכבת החלטות — איזה קובץ נקרא בשלמותו, איזה לוג נחתך, אם קריאה חוזרת נדחית, אם הבנייה רצה לפני התור הבא. ההחלטות האלה שייכות ל-harness, והן מסבירות נתח גדול מהשונות במבחן שלמעלה. הן גם החלק היחיד במערך שאפשר לשנות תוך שמירה על הסוכן שאתם כבר אוהבים.

זו התזה של המוצר שלנו, אז התייחסו אליה כטענה שכדאי לבדוק ולא כעובדה. HarnessUp היא שכבה מקומית שנייה שפועלת דרך ההוקים הרשמיים של Claude Code ו-Codex, עם 151 כלים בעשר חזיתות; היא לא פרוקסי, לא שרת MCP ולא תוסף, והיא לעולם לא קוראת את הטוקן או המפתח שלכם. שני כלים מחזית Savings ממופים ישירות למאמר הזה: Renew Session, שמסמן את התור שבו להמשיך עולה יותר מלהתחיל מחדש, ו-First Pass, שמקמפל מיד אחרי עריכה כך שבנייה שבורה נוסעת עם התור הבא במקום לקנות תור משל עצמה. הפאנל מריץ גם את HarnessUp Bench, דירוג פומבי של מודלים ומאמצים לפי דיוק, אופטימיזציה והוצאה, שנבנה ממדידות אנונימיות של התקנות אמיתיות — כולל אלה שיגידו שאנחנו טועים לגבי מודל.

והגבול הכנה: היום השכבה משתלבת אוטומטית עם Claude Code ו-Codex. Cursor נמצא במפת הדרכים, לא בקופסה. אם המבחן שלכם אומר ש-Cursor מנצח בעבודה שלכם, הצעד הנכון הוא להישאר עם Cursor ולדלג עלינו.

פסק דין שאפשר להגן עליו

הריצו את המבחן על שלוש משימות ולא על אחת — באג, פיצ'ר וריפקטור — ויהיה לכם פסק דין עם גודל מדגם של תשע הרצות, יותר ממה שיש לרוב ההשוואות המפורסמות. כתבו את המספרים, שמרו את הכרטיסים, וחזרו אליהם כשגרסת מודל משתנה. החלק האחרון הוא הסיבה שהשיטה הזאת מזדקנת טוב יותר מטבלת מובילים: הכלי שמנצח היום לא ינצח לנצח, אבל השיטה שלכם לבדוק תמשיך לעבוד.

הריצו את המבחן עם המספרים שלכם. HarnessUp מודד את הסשנים שלכם ב-Claude Code וב-Codex באופן מקומי ובחינם — אותם ארבעה שדות, בלי כרטיס אינדקס.

התקן בחינם