Anthropic ו-Accenture הכריזו על שיתוף פעולה חדש שמטרתו לבצע בדיקות והערכות של מודלי AI מתוך סביבת הפיתוח של Anthropic עצמה.
לפי Anthropic, שתי החברות מצפות להשקיע לפחות מיליארד דולר כל אחת בבניית היכולת הזו במהלך חמש השנים הקרובות.
איך ההסדר אמור לעבוד
הפעילות תובל על ידי Faculty, פעילות ה-AI הייעודית של Accenture.
הצוותים אמורים לעסוק בין היתר ב-red teaming, בדיקות alignment והערכת מנגנוני הגנה במודלים מתקדמים.
הרעיון המרכזי הוא "embedded evaluation": מעריכים חיצוניים שעובדים מתוך החברה ומקבלים גישה רחבה יותר מזו שמקבלים בדרך כלל גופי בדיקה חיצוניים.
Anthropic עצמה מציינת שהמודל הזה עדיין חדש ושחלק מהפרטים התפעוליים עדיין נמצאים בתהליך גיבוש.
למה בדיקות מתוך המעבדה חשובות
בדיקות חיצוניות של מודלים הפכו לחלק מרכזי בדיון על בטיחות AI.
הבעיה היא שלבודקים חיצוניים אין תמיד גישה לכל המידע, הכלים והגרסאות הפנימיות שקיימים בתוך מעבדת AI.
מודל שבו בודקים עצמאיים יחסית עובדים מתוך סביבת המעבדה יכול לאפשר בדיקות עמוקות יותר.
מצד שני, עצמאות הבודק הופכת לשאלה חשובה יותר כאשר הוא עובד בצמוד לחברה שאת המוצרים שלה הוא מעריך.
מה המשמעות לארגונים שבוחרים מודל
למשתמשים רגילים אין כרגע פעולה נדרשת.
עבור ארגונים שבוחרים מודלי AI, המהלך מדגיש ש"בדיקות בטיחות" אינן מושג אחד.
כדאי לבדוק מי ביצע את ההערכה, לאילו מערכות הייתה לו גישה ומה פורסם לציבור.
מה החברות עדיין לא פרסמו
החברות עדיין לא פרסמו את כל הפרטים לגבי המבנה המעשי של העבודה, רמת העצמאות של הצוותים או כמה מתוצאות הבדיקות יפורסמו לציבור.