Intel ने 14 अक्टूबर 2026 को Intel Inference Microservices की घोषणा की। ये सॉफ्टवेयर पैकेज Intel Xeon सर्वर पर भाषा मॉडल चलाते हैं और अपने आप उपयुक्त सेटिंग चुनते हैं। व्यावहारिक लक्ष्य संगठन के पास पहले से उपलब्ध कंप्यूटिंग क्षमता का इस्तेमाल करना है। टीम एक मॉडल चुनती है; उसका कंटेनर प्रोसेसर पहचानकर उस संयोजन के लिए Intel द्वारा जांचा गया प्रोफाइल लागू करता है।
कंपनी तैयारी में लगने वाला काम घटाना चाहती है। मॉडल चलाने के लिए संख्यात्मक परिशुद्धता, कोर के बीच काम के बंटवारे और मेमोरी के विन्यास पर निर्णय लेने होते हैं। किसी प्रोसेसर पर एक मॉडल के लिए सही सेटिंग दूसरे संयोजन के लिए सही हो, यह जरूरी नहीं। पैकेज इन चुनावों को एक जगह लाता है, लेकिन व्यावसायिक नतीजा अब भी ऐप के प्रदर्शन और उससे अपेक्षित उत्तरों की गुणवत्ता पर निर्भर है।
मॉडल चलाने से पहले कम ट्यूनिंग
हर कंटेनर एक होस्ट से एक मॉडल को OpenAI-संगत API के जरिए उपलब्ध कराता है। जो ऐप पहले से इस इंटरफेस का इस्तेमाल करते हैं, वे अपने अनुरोध नए पते पर भेज सकते हैं। संगतता इंटरफेस के प्रारूप की है; यह OpenAI की सेवा वाले मॉडल, उत्तर या क्षमताएं मिलने की गारंटी नहीं है। चुना गया मॉडल तय करता है कि सिस्टम क्या दे सकता है।
पहला संस्करण vLLM का इस्तेमाल करता है और Intel Xeon की पीढ़ियों 4, 5 और 6 के लिए है। Intel 32 GB मेमोरी सुझाता है, लेकिन मॉडल और वर्कलोड का अलग मूल्यांकन जरूरी है। सॉफ्टवेयर Docker या Kubernetes 1.24 और बाद के संस्करणों के साथ चलता है। GPU और अतिरिक्त इंफरेंस इंजन का समर्थन भविष्य की योजना में है।
उपयुक्त प्रोफाइल न मिलने पर पैकेजों का व्यवहार भी अलग होता है। किसी खास मॉडल के कंटेनर, मेल खाता प्रोफाइल न होने वाले होस्ट पर, बिना बताए सामान्य सेटिंग अपनाने के बजाय शुरू होते समय त्रुटि दे सकते हैं। बेस कंटेनर में संगत सामान्य प्रोफाइल का इस्तेमाल डिफॉल्ट रूप से सक्षम रहता है। संचालन टीमों के लिए सेवा का शुरू ही न होना और वैकल्पिक कॉन्फिगरेशन पर चलना अलग स्थितियां हैं।
तैनाती से पहले क्या जांचना चाहिए
Intel के मुताबिक टूल कॉलिंग और संरचित आउटपुट अभी vLLM के जरिए उपलब्ध हैं, लेकिन पैकेज की क्षमताओं के रूप में उनकी पुष्टि नहीं की गई है। कारोबारी सिस्टम चलाने वाले एजेंट बनाने वाली टीमों को इस प्रक्रिया का स्पष्ट परीक्षण करना चाहिए। केवल सही टेक्स्ट उत्तर से साबित नहीं होता कि हर अनुरोध में टूल और उसके पैरामीटर अपेक्षा के अनुसार चुने जाएंगे।
मॉडल उपयोगकर्ता की अपनी अवसंरचना पर चलते हैं और पहली बार शुरू होने पर मॉडल के वेट डाउनलोड हो सकते हैं। हर मॉडल की अपनी लाइसेंस शर्तें होती हैं, जिनका पालन करने की जिम्मेदारी संचालक की है। ऐप से बाहरी सेवाएं जोड़ने पर डेटा के प्रवाह की अलग समीक्षा जरूरी है। मॉडल का स्थानीय रूप से चलना यह नहीं दर्शाता कि पूरे कार्यप्रवाह का हर भाग उसी सर्वर पर रहेगा।
परीक्षण करने वाले संगठन के लिए उपयोगी शुरुआत एक समर्थित मॉडल और वास्तविक काम का प्रतिनिधित्व करने वाला एक कार्य है। इसमें प्रतिक्रिया समय, एक साथ आने वाला लोड और आउटपुट की गुणवत्ता मापी जानी चाहिए। इसके बाद देखा जा सकता है कि स्वचालित ट्यूनिंग रखरखाव सच में आसान करती है या नहीं। बदलाव मौजूदा हार्डवेयर पर अनुकूल तैनाती का रास्ता छोटा करता है; सफलता का पैमाना वही काम है जो सिस्टम कर पाता है।