GitHub הוסיפה לאפליקציית Copilot אפשרות לשלוח נתוני פעילות של סוכנים למערכות ניטור התומכות ב-OpenTelemetry. העדכון מ-22 בספטמבר מיועד לניהול מרכזי בארגון: במקום לבדוק כל שיחה בנפרד, אפשר לעקוב אחר רצף הפעולות של הסוכן בכלי התצפית הקיימים.
לפי הודעת GitHub, ההגדרה נעשית דרך המאפיין telemetry בקובץ managed-settings.json, כולל היעד שאליו יישלחו הנתונים. תוכן הפרומפטים והתשובות אינו נשלח כברירת מחדל.
רצף פעולות, מדדים ואירועים
התיעוד הארגוני מבחין בין שלושה סוגי מידע. Traces מתארים את רצף העבודה, למשל פנייה למודל ואחריה הפעלת כלי. Metrics מציגים מדידות כגון טוקני קלט ופלט. Events מתעדים פעולות נקודתיות, למשל קבלה או דחייה של שינוי שהציע הסוכן.
ההפרדה מאפשרת לשאול שאלות שונות על אותה משימה. כמה קריאות למודל נדרשו? אילו כלים הופעלו? באיזה שלב הופיעה התנהגות לא צפויה? אלה שאלות תפעוליות שאינן נענות רק מעיון בתשובה הסופית.
GitHub מציינת שגם הארגומנטים שנמסרים לכלים מוחרגים כברירת מחדל, לצד הפרומפטים והתשובות. אפשר לבחור ללכוד תוכן כזה, אך אז הוא עלול לכלול קוד, תוכן קבצים ומידע שהמשתמש הזין.
החיבור למערכת הניטור דורש החלטה על המידע
התיעוד מתאר שימוש ביעד התומך בפרוטוקול OTLP, ובמידת הצורך ב-OpenTelemetry Collector שמעבד ומעביר את הנתונים. הגדרות מנוהלות מאפשרות להחיל מדיניות על לקוחות נתמכים בלי שכל מפתח יגדיר אותה בעצמו.
לפני ההפעלה, רצוי לקבוע מי יוכל לצפות במידע, כמה זמן הוא יישמר והאם יש צורך אמיתי בלכידת תוכן. כיבוי תוכן השיחה אינו מספיק כדי להכריע שכל יתר המידע מתאים לשמירה: יש לבדוק את השדות המתקבלים ואת ההרשאות במערכת היעד.
העדכון מוסיף יכולת לתחקור, אך אינו מנגנון שעוצר פקודות. ארגון שרוצה גם להגביל את פעולות הסוכן יצטרך להגדיר הרשאות ובידוד בנפרד. ניטור עונה על השאלה מה קרה; מדיניות ההרשאות קובעת מה מותר לקרות.