AWS Trainium के लिए PyTorch का नेटिव बैकएंड TorchNeuron, Trainium2 और Trainium3 के समर्थन के साथ पब्लिक बीटा में आ रहा है। इसका उद्देश्य डेवलपर को Amazon के AI एक्सेलरेटर पर परिचित PyTorch इंटरफेस इस्तेमाल करने देना और दूसरे हार्डवेयर के मूल्यांकन में लगने वाला सॉफ्टवेयर काम कम करना है।
PyTorch ने 19 अक्टूबर को घोषणा प्रकाशित की और सम्मेलन के दौरान 20 अक्टूबर को पब्लिक बीटा शुरू करने की तारीख दी। AWS Neuron का मौजूदा दस्तावेज भी इसे पब्लिक बीटा बताता है।
उसी फ्रेमवर्क में दूसरा डिवाइस
बैकएंड डेवलपमेंट फ्रेमवर्क को ऑपरेशन चलाने वाले हार्डवेयर से जोड़ता है। TorchNeuron, PyTorch के हार्डवेयर एक्सटेंशन तंत्र से Trainium को पंजीकृत करता है और neuron नाम का डिवाइस देता है। इसके लिए मॉडल बनाने का अलग फ्रेमवर्क अपनाना जरूरी नहीं होता।
रिलीज में eager execution और torch.compile के जरिए कम्पाइलेशन का समर्थन है। पहले तरीके में ऑपरेशन तुरंत चलते हैं, जो प्रयोग और डिबगिंग में उपयोगी है। कम्पाइलेशन का लक्ष्य अनुकूलित निष्पादन है। घोषणा में Neuron Kernel Interface से कस्टम कर्नेल और रुकावटें पहचानने वाले प्रोफाइलिंग टूल भी शामिल हैं।
माइग्रेशन की जांच क्यों जरूरी है
सरल उदाहरण .to('neuron') से डिवाइस बदलते हैं। AWS व्यापक अनुकूलता का वर्णन करता है, लेकिन हर एप्लिकेशन बिना बदलाव चलेगा, इसकी गारंटी नहीं है। टीमों को हार्डवेयर-विशिष्ट ऑपरेशन, कस्टम कर्नेल और सॉफ्टवेयर निर्भरताएं जांचनी चाहिए।
बीटा के भीतर भी फर्क हैं। Adaptive eager को प्रायोगिक बताया गया है और कुछ अतिरिक्त क्षमताएं प्राइवेट बीटा में हैं। बैकएंड का पब्लिक बीटा होना उससे जुड़ी हर सुविधा की सामान्य उपलब्धता नहीं है।
टीमों को क्या मापना चाहिए
एक्सेलरेटर की तुलना करने वाले डेवलपर के लिए यह रिलीज सॉफ्टवेयर पोर्टेबिलिटी को अधिक व्यावहारिक कसौटी बनाती है। उपयोगी परीक्षण में संख्यात्मक परिणाम, ऑपरेशन की अनुकूलता, डिबगिंग, कम्पाइलेशन का व्यवहार और प्रतिनिधि वर्कलोड पर मापा गया प्रदर्शन शामिल होना चाहिए।
घोषणा से हर स्थिति में कम लागत, स्वतंत्र रूप से सत्यापित तेजी या AWS के इजराइल रीजन में उपलब्धता साबित नहीं होती। इंस्टेंस क्षमता और कीमत की जांच तैनाती के स्थान के अनुसार करनी होगी। यह समर्थित Trainium प्रणालियों का इंफ्रास्ट्रक्चर है, सामान्य लैपटॉप पर जरूरी हार्डवेयर के बिना चलने वाली सुविधा नहीं।