NVIDIA הכריזה ב-28 בספטמבר על Open Agent Safety Platform, מהלך שמחבר תוכנה פתוחה ותכנון מערכת כדי להגביל את פעולותיהם של סוכני AI. הפלטפורמה משלבת את סביבת הריצה OpenShell ואת Sentry, שמוסיפה ניטור ואכיפה בשכבת חומרה נפרדת מהמערכת שעליה פועל הסוכן.
לפי הודעת החברה, הרעיון הוא להציב גבולות מחוץ למודל עצמו: אילו משאבים הוא יכול לראות, באילו כלים הוא רשאי להשתמש וכיצד ניתן לעצור פעולה שחורגת מהמדיניות.
שני רכיבים, תפקידים שונים
OpenShell היא תוכנת קוד פתוח להגדרת גבול ריצה ולאכיפת מדיניות. NVIDIA מתארת אותה כזמינה באופן רחב, ומציינת שניתן להרחיב את התמיכה שלה גם לפלטפורמות מחשוב של חברות אחרות.
Sentry מוצגת כתכנון מערכת ייחוס. היא משתמשת ב-BlueField-4 כדי לנטר פעילות באופן שאינו תלוי רק במערכת המארחת. החברה טוענת שהשכבה יכולה לבודד סוכנים שמנסים לחרוג מהגבולות בתוך מילישניות. זהו נתון של NVIDIA, ולא תוצאה של מבחן עצמאי המוצג כאן.
עמוד הפלטפורמה מתאר התאמה לתשתיות Vera ו-BlueField לצד תאימות למערכות אחרות. לכן אין להסיק שכל מרכיבי הפתרון מותקנים אוטומטית יחד, או שהורדת התוכנה לבדה מספקת את שכבת האכיפה החומרתית.
מה ארגון צריך לברר לפני הטמעה
לארגון שמפתח סוכן עם גישה לקוד, למסמכים או למערכות תפעוליות, ההכרזה מעלה שאלת תכנון מעשית: היכן מתקבלת ההחלטה אם פעולה מותרת, ומי יכול לאכוף אותה אם הסוכן או המארח מתנהגים באופן לא צפוי?
בבחינת פתרון כזה רצוי למפות בנפרד את הרשאות הקבצים, הגישה לרשת, הזהות שבה מתבצעות פעולות והאפשרות לעצור סשן. לאחר מכן אפשר לבדוק אילו מהן מכוסות ברכיב התוכנה ואילו דורשות תשתית נוספת. זו דרך להעריך התאמה, לא קביעה שהמערכת כבר הוכיחה מניעה של כל סוג תקיפה.
תמיכה בתעשייה אינה מבחן יעילות
בהכרזה מופיעים שותפים וחברות ובהם Microsoft, Anthropic ו-Palo Alto Networks. הרשימה ממחישה את העניין במהלך, אך אינה מחליפה מדידה של תקורת ביצועים, שיעור התרעות שווא או עמידות בניסיון תקיפה.
המשמעות לחברות סייבר ולצוותי תשתיות היא שכדאי לבחון אבטחת סוכנים כחלק מתכנון סביבת העבודה שלהם. את ההחלטה אם הפלטפורמה מתאימה לפרויקט מסוים צריך לבסס על הרכיבים הזמינים, המדיניות שניתן לאכוף ובדיקות בסביבה הרלוונטית.