Anthropic הציגה את FlashProve, אב-טיפוס מחקרי בקוד פתוח שנועד לענות על שאלה פשוטה: האם תשובת AI נוצרה באמת באמצעות המודל שהספק הבטיח להפעיל? הרעיון הוא להצמיד לתוצאה הוכחה קריפטוגרפית שניתן לבדוק בלי לחשוף את משקלי המודל. החברה מדגישה שמדובר בהתקדמות מחקרית, ולא במוצר שהתחייבה לפרוס.
הצורך אינו בהכרח בתשובה מזויפת. ספק יכול להחליף מודל יקר בזול יותר, או להפעיל מודל חזק יותר בזמן מבחן ביצועים, בלי שהמשתמש יבחין בכך מתוך הטקסט. הוכחת מקור יכולה לעזור לבדוק איזו מערכת ביצעה את החישוב, בתנאים שההוכחה מכסה. היא אינה בודקת אם התוכן שהתקבל נכון.
טביעת אצבע לחישוב, בלי לפרסם את המשקלים
בתיאור הפשוט, מעבדת AI מפרסמת התחייבות קריפטוגרפית למודל, מעין טביעת אצבע. בהמשך ניתן לבדוק הוכחה הקושרת את החישוב לאותה התחייבות. המטרה היא לאפשר בדיקה קלה יחסית במכשיר מקומי, בלי לחזור בעצמנו על כל חישוב ובלי לדרוש מהמעבדה לפרסם את הנכס המסחרי שלה: משקלי המודל.
אבל לטביעת האצבע צריך להיות מקור אמין. אם מישהו מציג התחייבות שאין דרך לקשור למודל המובטח, הוכחה תקינה ביחס אליה אינה מספיקה לזיהוי המוצר המשווק. לכן גם בתהליך מתמטי יש חשיבות לשאלה מי מספק את נקודת הייחוס שעליה נשען האימות.
אפשר להשוות זאת לאימות חתימה על מסמך. החתימה עשויה לעזור לקבוע מי חתם, אבל אינה הופכת כל משפט במסמך לעובדה. באותו אופן, מודל יכול לייצר תשובה שגויה, והוכחה תקינה יכולה לאשר שזה אכן המודל שייצר אותה. זהו גבול מהותי של סוג ההבטחה, לא תקלה בהכרח.
המחקר עדיין מוגבל, והקוד אינו שירות נתמך
Anthropic מציגה בנייה מחקרית עם הנחות ומגבלות, ובהן אורך הקשר של 1,024 טוקנים והנחות על צורת המודל והפענוח. הסתרת המשקלים אינה הסתרה של כל ארכיטקטורת המודל. בנוסף, יש הבדל בין הבטחה פורמלית על הפרוטוקול לבין ביטחון שהמימוש המהיר שלו נקי מתקלות.
גם מצב הקוד חשוב. מאגר FlashProve מצוין ככזה שאינו מתוחזק ואינו מקבל תרומות. פרסום קוד מאפשר ללמוד מהגישה ולבחון אותה, אך אינו שקול לשירות מסחרי עם תמיכה, עדכוני אבטחה או התחייבות לשילוב בכל מודל. אין בסיס לראות בו תכונה פעילה של Claude.
התרומה האפשרית של הכיוון הזה היא הוספת שכבת אמון לגבי זהות המערכת שמאחורי התשובה. כדי להפוך אותה לשימושית בשירותים אמיתיים, יצטרכו להתאים את ההוכחות לתנאי ההפעלה, לקשור אותן למקור מהימן ולבדוק את המימוש. גם אז, בדיקת אמינות התשובה עצמה תישאר משימה נפרדת לחלוטין, במיוחד כאשר התשובה משמשת בסיס להחלטה שיש לה השלכות מחוץ לחלון השיחה.