Liquid AI שחררה ב-13 באוקטובר את LFM2.5-24B-A2B, מודל שמיועד לסוכני AI הפועלים על המכשיר המקומי. החברה פרסמה גרסת בסיס וגרסה שעברה אימון נוסף לביצוע הוראות, שימוש בכלים ומשימות מרובות שלבים. המשקלים זמינים להורדה, כך שהמפתח יכול להריץ את המודל על חומרה שבשליטתו, במקום לשלוח כל בקשה לשירות מודל חיצוני בענן במהלך העבודה השוטפת.
למודל יש 24 מיליארד פרמטרים, אך רק חלקם משתתפים בחישוב של כל טוקן. השם A2B והודעת ההשקה מעגלים את הנתון ל-2 מיליארד פרמטרים פעילים; כרטיס המודל מציין 2.45 מיליארד. זו ארכיטקטורת תערובת מומחים, MoE. החיסכון הוא בכמות החישוב הפעילה בכל צעד, ולא הבטחה שכל המודל תופס בזיכרון מקום של מודל קטן עם 2 מיליארד פרמטרים בלבד.
מה משתנה בהרצה המקומית
חלון ההקשר הוא 131,072 טוקנים, והמודל נועד לבצע חשיבה לפני התשובה הסופית. Liquid AI מציעה תמיכה בכלי הרצה ובהם llama.cpp, MLX ו-vLLM. בפועל, בחירת גרסה מכווצת, אורך ההקשר ומספר הבקשות במקביל משפיעים על צריכת הזיכרון. לכן צריך לבדוק את קובץ המודל ואת סביבת ההרצה המתאימים למחשב המסוים, ולא להסתפק במספר הפרמטרים הפעילים בשם המוצר.
החברה מדווחת על 184 טוקנים לשנייה במחשב עם Apple M5 Max, ועל יתרון בכמה מבחני שימוש בכלים מול מודלים גדולים יותר. אלה תוצאות של Liquid AI בתנאי הבדיקה שלה, לא התחייבות למהירות במחשב אחר. גם בטבלאות החברה אין ניצחון בכל תחום: בחלק ממבחני הידע והקוד מודלים אחרים מובילים. הבחירה צריכה להתאים למשימה ולא רק לקצב יצירת הטקסט.
פרטיות, רישיון ושפה לפני הטמעה
הרצת המודל מקומית יכולה להשאיר את הבקשות וההסקה במחשב, אבל סוכן אינו רק מודל. כלי חיפוש, שירות דואר או חיבור למערכת עסקית עדיין עשויים להעביר מידע לרשת. לפני שמוסרים לו מסמכים או הרשאות, צריך להגדיר אילו כלים מותר לו להפעיל, לאן הם שולחים נתונים ואילו פעולות דורשות אישור. התקנה מקומית אינה מבטלת את הבדיקות האלה.
גם משקלים פתוחים אינם רישיון מסחרי ללא תנאים. LFM Open License v1.0 כולל מגבלת שימוש מסחרי הקשורה לסף הכנסות שנתי של 10 מיליון דולר. ארגון שמטמיע את המודל צריך לבחון את תנאי הרישיון החלים עליו. ברשימת השפות הרשמית מופיעות בין השאר אנגלית, ערבית, צרפתית וגרמנית; עברית אינה מופיעה, ולכן אין לראות בהשקה אישור לתמיכה איכותית בעברית.
נקודת פתיחה מעשית היא משימה אחת מוגדרת עם קבצים לא רגישים והרשאות מצומצמות: למשל מיון מסמכים או הכנת טיוטה ממקורות מקומיים. חשוב לבדוק דיוק, השלמת משימות וצריכת משאבים, ולא רק אם המודל מצליח לעלות. היתרון האפשרי הוא שליטה רבה יותר במקום שבו מתבצע החישוב. כדי להפוך אותו לשירות אמין, עדיין נדרשים התאמה לחומרה, בדיקות שפה ובקרה על פעולות הסוכן.