Intel חשפה ב-12 באוקטובר פרטים חדשים על GPU D270, מאיץ למרכזי נתונים שמיועד להרצת מודלי AI. המוצר, שנקרא קודם Crescent Island, מדגיש נפח זיכרון גדול ועבודה בשרתים קיימים. החברה אומרת שדגימות ללקוחות כבר החלו. זו עדיין אינה הודעה על זמינות מסחרית רחבה, ולא פורסמו בה מחיר או מועד שבו כל לקוח יוכל להזמין מערכת.
הנתון הבולט הוא עד 480 GB של זיכרון LPDDR5X, אבל ההערה הקטנה משנה את התמונה: בכרטיס PCIe ממותג Intel יש 160 GB. התכנון מאפשר לשותפים לבנות כרטיסים עם נפח של עד 480 GB. לכן, מי שמשווה הצעות רכש צריך לבדוק את הדגם והתצורה בפועל, ולא להניח שכל כרטיס D270 מגיע עם הקיבולת המרבית.
יותר מקום למודל ולשיחות ארוכות
לפי Intel, משפחת D-series מבוססת על ארכיטקטורת Xe3P, עם רוחב פס זיכרון של 1.5 TB/s ויכולת חישוב שיא של 1.3 פטהפלופ ב-FP8, במעטפת הספק של 350 ואט. אלה נתוני מפרט של היצרנית. הם אינם מודדים לבדם כמה תשובות שימושיות יפיק שירות מסוים, כמה זמן ימתין המשתמש או מה תהיה עלות כל משימה שהושלמה.
זיכרון חשוב משום שלא רק משקלי המודל תופסים מקום. גם ההקשר של שיחות ארוכות ומידע ביניים שנשמר בזמן ההרצה דורשים קיבולת. כשמפעילים כמה סוכנים או משתמשים במקביל, הדרישות מצטברות. נפח גדול יותר עשוי להפחית את הצורך לפצל עבודה בין כרטיסים, אך התוצאה תלויה בגודל המודל, בדיוק המספרי ובאופן שבו השירות מנהל את הבקשות.
מה לבדוק לפני שמחליפים תשתית
Intel מציגה את D270 ככרטיס PCIe 5.0 בקירור אוויר, שנועד להשתלב בסביבת מרכז נתונים קיימת. הרעיון הוא להוסיף יכולת הרצה בלי לבנות מלכתחילה סביב מערכת קירור נוזלי ייעודית. עדיין צריך לוודא התאמה לשרת, לאספקת החשמל ולזרימת האוויר. כרטיס שמתאים במידותיו אינו בהכרח מערכת מוכנה לכל עומס עבודה ולכל שילוב של תוכנות.
לצוותי פיתוח ותשתיות, הבדיקה החשובה היא הרצת המודל שלהם עם אורך הקשר ומספר משתמשים שמייצגים את השירות. כדאי למדוד זמן עד לטוקן הראשון, מהירות יצירת תשובה, ניצולת זיכרון וצריכת חשמל של המערכת כולה. בדיקה כזו גם תראה אם מעבר מסביבת תוכנה אחרת דורש התאמות שמבטלות חלק מהחיסכון הצפוי או יוצרות עומס תחזוקה נוסף לצוות.
העדכון מציע כיוון ברור: לא כל שירות AI זקוק לאותה תשתית ששימשה לאימון המודל. עבור ארגונים שמריצים מודלים לאורך זמן, הקיבולת, החשמל והתוכנה עשויים להיות חשובים כמו שיא החישוב. D270 נכנס כעת לבחינת לקוחות, וההחלטה הכלכלית תצטרך להישען על תצורות זמינות, מחירים וביצועים במשימות אמיתיות, ולא רק על המספר הגדול ביותר בשורת הזיכרון.