OpenAI הודיעה על שיפורים ב-Codex וב-ChatGPT Work שנועדו להגדיל את השימוש האפקטיבי שהמשתמש מקבל. לפי ההודעה, החברה עושה שימוש חוזר בהקשר בין סוכני משנה, משאירה הקשר במטמון לזמן ארוך יותר ומשפרת את ניתוב הבקשות כדי להגדיל את מספר ההתאמות במטמון. ההודעה פורסמה ב-17 באוקטובר לפי שעון ישראל, ואינה מפרטת שיעור חיסכון אחיד או מכסה חדשה לכל מסלול.
המשמעות המתוארת היא ניצול טוב יותר של מידע שהמערכת כבר עיבדה, במקום להתחיל בכל פעם מאותה נקודה. אין בכך הבטחה שכל בקשה תשתמש במטמון או שכל משימה תצרוך פחות משאבים. התועלת יכולה להיות תלויה באופי העבודה ובהקשר הזמין. לכן נכון להבחין בין שיפור בתשתית השירות לבין שינוי מפורש בתנאי המנוי או במחירו.
מה כוללים שלושת השינויים
שימוש חוזר בהקשר בין סוכני משנה מתייחס למידע שסוכנים יכולים להיעזר בו במהלך העבודה. שמירת מטמון ארוכה יותר משאירה חומר שכבר עובד זמין לשימוש חוזר למשך זמן נוסף. ניתוב משופר מבקש להפנות בקשות באופן שמגדיל את האפשרות להשתמש בחומר הזה. אלה רכיבים קשורים, אך כל אחד מטפל בחלק אחר של התהליך שהחברה מתארת.
ההודעה אינה אומרת שהמטמון הוא זיכרון קבוע שהמשתמש יכול לערוך, או שמידע מכל חשבון משותף לכל סוכן. היא גם אינה מתארת שינוי בהרשאות גישה למסמכים או לכלים. לכן אין סיבה לפרש שימוש חוזר בהקשר כהרחבת גישה לנתונים שלא ניתנה קודם. הרשאות, זיכרון מוצרי ומטמון תשתיתי הן שאלות נפרדות שצריך לבדוק לפי ההגדרות הרלוונטיות.
מה כדאי למדוד בשימוש בפועל
צוות שמשתמש ב-Codex יכול לבחון כמה עבודה תקינה הושלמה בתקופת שימוש דומה, לצד מספר הניסיונות וזמן ההמתנה. השוואה בין משימות שונות מאוד עלולה להטעות גם אם ההוצאה נראית נמוכה יותר. כדאי לשמור את אופי המשימה ואת תנאי ההצלחה, כדי לבדוק אם השיפור מורגש בתהליך העבודה עצמו ולא רק במדד חלקי שמוצג בדרך.
אין בהודעה הוראה לשנות קוד, לעבור מסלול או להסיר בקרות כדי לקבל את השיפור. מי שמנהל תקציב צריך להמשיך לבדוק את נתוני החשבון ואת הכללים החלים עליו. שיפור בניצול אינו הבטחה לשימוש בלתי מוגבל, ואינו סיבה להתעלם מהודעות מכסה או חיוב. המבחן המעשי הוא היחס בין המשאבים שנצרכו לבין התוצאות שהושלמו באיכות הנדרשת.
גם לאחר השיפור, חלוקת עבודה בין סוכנים צריכה להתאים למשימה. אם תוצאה אחת תלויה באחרת, שימוש חוזר בהקשר אינו מבטל את התלות. כדאי להגדיר מראש אחריות ותוצר צפוי, ולבדוק את התוצאה המשולבת. כך אפשר ליהנות מהתייעלות תשתיתית בלי לבלבל בינה לבין הבטחה שכל משימה מתאימה לפיצול או שכל פלט שהתקבל כבר מוכן לשימוש.