Intel ने 12 अक्टूबर को GPU D270 के नए विवरण दिए। यह डेटा सेंटर एक्सेलरेटर AI मॉडल चलाने के लिए बना है। पहले Crescent Island नाम से जाना जाने वाला उत्पाद बड़ी मेमोरी क्षमता और मौजूदा सर्वरों में इस्तेमाल पर जोर देता है। कंपनी कहती है कि ग्राहकों को नमूने देना शुरू हो गया है। यह अभी सामान्य बिक्री की घोषणा नहीं है; कीमत या सभी ग्राहकों के सिस्टम मंगाने की तारीख भी नहीं बताई गई।
मुख्य आंकड़ा 480 GB तक LPDDR5X मेमोरी है, लेकिन फुटनोट एक अहम अंतर बताता है: Intel ब्रांड वाले PCIe कार्ड में 160 GB है। डिजाइन साझेदारों को 480 GB तक के कार्ड बनाने देता है। इसलिए खरीद प्रस्तावों की तुलना करते समय असली मॉडल और विन्यास देखना जरूरी है, न कि हर D270 कार्ड में अधिकतम क्षमता मान लेना।
मॉडल और लंबी बातचीत के लिए ज्यादा जगह
Intel के मुताबिक D-series, Xe3P आर्किटेक्चर पर आधारित है। इसमें 1.5 TB/s मेमोरी बैंडविड्थ और 350 वॉट पावर सीमा में FP8 पर 1.3 पेटाफ्लॉप की अधिकतम गणना क्षमता है। ये निर्माता के तकनीकी आंकड़े हैं। इनसे अकेले यह नहीं पता चलता कि कोई सेवा कितने उपयोगी जवाब देगी, उपयोगकर्ता कितना इंतजार करेगा या पूरे हुए काम की लागत क्या होगी।
मेमोरी केवल मॉडल के वेट्स नहीं घेरते। लंबी बातचीत का संदर्भ और इन्फरेंस के दौरान रखी गई बीच की जानकारी भी जगह मांगते हैं। कई एजेंट या उपयोगकर्ता साथ चलें तो जरूरतें जुड़ती जाती हैं। ज्यादा मेमोरी से काम कई कार्डों में बांटने की जरूरत घट सकती है, लेकिन परिणाम मॉडल के आकार, संख्यात्मक सटीकता और अनुरोध प्रबंधन पर निर्भर होगा।
बुनियादी ढांचा बदलने से पहले क्या जांचें
Intel, D270 को मौजूदा डेटा सेंटर के लिए एयर कूलिंग वाला PCIe 5.0 कार्ड बताती है। विचार यह है कि शुरुआत से विशेष लिक्विड कूलिंग व्यवस्था बनाए बिना इन्फरेंस क्षमता बढ़ाई जाए। फिर भी सर्वर संगतता, बिजली आपूर्ति और हवा के बहाव की जांच जरूरी है। आकार में फिट होने वाला कार्ड हर कार्यभार और सॉफ्टवेयर संयोजन के लिए तैयार सिस्टम नहीं बन जाता।
विकास और इंफ्रास्ट्रक्चर टीमों के लिए सार्थक परीक्षण अपने मॉडल को सेवा जैसे संदर्भ आकार और उपयोगकर्ता संख्या के साथ चलाना है। पहले टोकन तक का समय, जवाब बनने की गति, मेमोरी इस्तेमाल और पूरे सिस्टम की बिजली खपत मापें। इससे यह भी दिखेगा कि दूसरे सॉफ्टवेयर वातावरण से आने में ऐसे बदलाव तो नहीं चाहिए जो बचत घटाएं या रखरखाव बढ़ाएं।
दिशा स्पष्ट है: हर AI सेवा को वही ढांचा नहीं चाहिए जिस पर मॉडल प्रशिक्षित हुआ था। लगातार मॉडल चलाने वाली संस्थाओं में क्षमता, बिजली और सॉफ्टवेयर अधिकतम गणना जितने महत्वपूर्ण हो सकते हैं। D270 अब ग्राहक मूल्यांकन में है; आर्थिक फैसला उपलब्ध विन्यास, कीमत और वास्तविक कार्य प्रदर्शन पर टिकना चाहिए, सिर्फ मेमोरी के सबसे बड़े अंक पर नहीं।