Anthropic הודיעה ב-15 באוקטובר כי החלה לתת לצוות של METR גישה פנימית הדומה לזו של עובדים, לצורך הערכת סיכונים במודלי AI ובתהליכי הבטיחות שלה. 6 עובדי הארגון קיבלו ציוד, מקום במשרד וגישה לכלים ולמערכות פנימיות. ההסדר נועד לאפשר להם לראות יותר מן המידע שנחשף בבדיקות חיצוניות רגילות, ולפרסם את מסקנותיהם לציבור.
לצד הרחבת הגישה נשארת מגבלה מהותית. Anthropic אומרת שאין לה זכות וטו על עצם הפרסום, אך היא יכולה לדרוש השחרת מידע השייך לקטגוריות שהוגדרו מראש. לפי הבהרה שנוספה ב-16 באוקטובר, החברה היא שקובעת בסופו של דבר מה נכלל בקטגוריות האלה. METR שומרת לעצמה זכויות מוגבלות להתייחס להיקף הגישה והמידע שקיבלה. לכן עצמאות הפרסום והשליטה במידע אינן אותו דבר.
מה כולל ההסדר עם METR
לפי Anthropic, הגישה של הצוות קרובה בהיקפה לזו של צוותי הערכת הסיכונים הפנימיים שלה. עובדי החברה מעודדים לשתף עמו מידע כפי שהיו עושים עם עמית העוסק בסיכוני התאמה של מודלים. החריגים כוללים, בין היתר, מידע על לקוחות, חומר המוגן בחיסיון משפטי ומידע על ארכיטקטורות המודלים. החברה מתארת בכך פתיחה משמעותית של סביבת העבודה, אך לא גישה בלתי מוגבלת.
גם בתוך METR ההסדר אינו חל על הארגון כולו. הצוות המשולב פועל במסגרת הסכמים מחייבים ובנפרד מעובדים אחרים של METR, לרבות חוקרים המשתתפים בפרויקטים אחרים עם Anthropic. הפרדה זו חשובה להבנת ההודעה: מדובר בקבוצת מעריכים מוגדרת, ולא בהעברה כללית של מידע פנימי לכל שותף חיצוני. אין בהסדר רשות פומבית לעיין בנתוני הלקוחות.
החברה אומרת שהצוות יוכל לפרסם ניתוחים של רמות סיכון, תקריות או נהלים. אלה תחומים שונים: הערכת היכולת של מודל לבצע משימה מסוכנת, בחינת אירוע שכבר התרחש ובדיקה של הדרך שבה מתקבלות החלטות. גישה פנימית יכולה להיות רלוונטית לכל אחד מהם. עצם פתיחת הדלת עדיין אינה מספרת מה ימצאו המעריכים כאשר יבדקו את החומר.
למה בדיקה חיצונית צריכה גם מידע פנימי
בדיקה של מודל דרך ממשק שימוש יכולה להראות כיצד הוא מתנהג בתנאים מסוימים. היא אינה בהכרח חושפת כיצד נבחרו הבדיקות, אילו ממצאים קודמים היו ידועים למפתחת או כיצד השתנו אמצעי ההגנה לאורך הפיתוח. לכן התוצאה שרואים מבחוץ וההקשר שמחזיקה החברה עשויים לענות על שאלות שונות. הערכה מעמיקה צריכה להבחין בין היכולת שנמדדה לבין גבולות המדידה.
Anthropic מציגה את ההסדר כדרך לצמצם את פער המידע הזה בלי לפרסם לציבור כל פרט רגיש. זו הגישה שהחברה בחרה לתאר; היא אינה מוכיחה מראש שכל פער נסגר. כאשר יתפרסמו מסקנות, יהיה חשוב לבחון לא רק את התוצאה אלא גם את היקף הגישה, התחומים שהוחרגו והשאלות שהבדיקה תוכננה לפתור. מגבלות כאלה עוזרות להבין את הממצאים במקום לבטל אותם.
עבור ארגון המשתמש ב-Claude, מסמך הערכה חיצוני עשוי לספק חומר נוסף לתהליך בחירת הספק. הוא אינו מחליף בדיקה של תרחיש השימוש המקומי. מערכת המתאימה לכתיבת טיוטות אינה מקבלת באופן אוטומטי אותו פרופיל סיכון כאשר מחברים אותה למערכות עם הרשאות פעולה. השאלה המעשית נשארת אילו יכולות נבדקו ובאיזו סביבת הפעלה הן אמורות לשמש.
חופש פרסום לצד אפשרות להשחרה
ההבחנה החשובה בהודעה נוגעת לשתי החלטות: האם המעריך רשאי לפרסם מסקנה, ואילו פרטים הוא רשאי לכלול לצדה. Anthropic אומרת ש-METR יכולה לפרסם ללא אישור מוקדם של החברה, אך מסייגת זאת בקטגוריות מידע שניתן להשחיר. ההבהרה שהחברה מכריעה בסיווג המידע מגבילה את המשמעות של הביטוי "ללא וטו". יש לקרוא את שתי ההוראות יחד.
מכך לא נובע שהחברה כבר חסמה ממצא שלילי, וגם לא שההשחרות חסרות הצדקה. מידע על לקוחות או פרטים שעלולים לסייע לתוקפים עשויים להצדיק הגנה. מנגד, כאשר חומר אינו מופיע במסמך פומבי, הקורא אינו יכול לבחון אותו בעצמו. לכן הסבר של מגבלות הגישה והפרסום הוא חלק מהראיות הנחוצות להערכת ההסדר, ולא רק פרט מנהלי בשוליו.
לקוח עסקי יכול להיעזר בהבחנה הזו בעת קריאת כל דוח בטיחות. כדאי לשאול מי הגדיר את המשימה, אילו מערכות נבדקו, באיזו גרסה נערכה הבדיקה ומי יכול להגביל את הפרסום. אין צורך להניח תשובה שלילית לשאלות האלה. עצם הבירור מאפשר להחליט אילו מסקנות נשענות על בדיקה רחבה, ואילו נותרות תלויות במידע שהספק מחזיק לבדו.
שלוש רמות גישה, ולא הסדר אחיד לכולם
Anthropic מתארת 3 רמות התקשרות עם מעריכים. ברמה הראשונה החקירה מצומצמת והפרסום מחייב אישור שלה. ברמה השנייה אפשר לפרסם בלי אישור, בכפוף להגבלות על קטגוריות מידע. ברמה השלישית נוסף היקף גישה פנימי הדומה לזה שתואר בהסדר עם METR. המשמעות היא שהמונח "מעריך חיצוני" לבדו אינו מספיק כדי להבין מה באמת ניתן לבדוק.
שיתופי הפעולה האחרים נמצאים בשלבים שונים. החברה מתארת עבודה עם SecureBio, וכן עם Accenture ו-Faculty, ומציינת שהתקשרויות מוקדמות כוללות גישה וזכויות פרסום מוגבלות יותר. אין להסיק שהגישה של METR כבר ניתנה לכל הגופים האלה. גם שיחה ראשונית על שיתוף פעולה אינה שקולה לביצוע הערכה או לפרסום מסקנות שלה לציבור.
כיצד להשתמש במידע בלי להסיק יותר מדי
לצוותי אבטחה ורכש כדאי לעקוב אחרי המסמכים שיפרסמו המעריכים ולחבר אותם לבדיקות שהם עורכים בעצמם. אפשר לתעד אילו פעולות הסוכן מורשה לבצע, אילו נתונים הוא רואה ומתי נדרש אישור אנושי. כך ניתן יהיה להשוות בין טענות בטיחות כלליות לבין סביבת השימוש בפועל. הרחבת הגישה של מעריכים אינה משנה מעצמה את הרשאות המערכת של הלקוח.
החידוש הוא במבנה הפיקוח שהחברה פותחת בפני צוות חיצוני. ההסדר עשוי להרחיב את הבסיס להערכה ציבורית, אך תועלתו תתברר גם דרך איכות הממצאים והסבר מגבלותיהם. לעת עתה יש הודעה על גישה עמוקה יותר וכללי פרסום מפורטים יותר. אין עדיין בסיס להתייחס לעצם ההתקשרות כאל אישור כולל לבטיחות המודלים או לכל שימוש אפשרי בהם.