Liquid AI ने 13 अक्टूबर को LFM2.5-24B-A2B जारी किया, जो स्थानीय डिवाइस पर चलने वाले AI एजेंटों के लिए है। कंपनी ने बेस संस्करण और निर्देश, टूल इस्तेमाल तथा कई चरणों वाले कामों के लिए आगे प्रशिक्षित संस्करण दिए। डाउनलोड योग्य वेट्स से डेवलपर अपने नियंत्रण वाले हार्डवेयर पर मॉडल चला सकता है, रोजमर्रा के हर अनुरोध को बाहरी क्लाउड मॉडल सेवा में भेजे बिना।
मॉडल में 24 अरब पैरामीटर हैं, लेकिन हर टोकन की गणना में केवल कुछ हिस्सा सक्रिय होता है। A2B नाम और घोषणा इसे लगभग 2 अरब सक्रिय पैरामीटर कहते हैं; मॉडल कार्ड में ठीक 2.45 अरब दिए हैं। यह मिक्सचर-ऑफ-एक्सपर्ट्स, यानी MoE आर्किटेक्चर है। बचत हर चरण की सक्रिय गणना में है, यह वादा नहीं कि पूरा मॉडल केवल 2 अरब पैरामीटर वाले मॉडल जितनी मेमोरी लेगा।
स्थानीय रनिंग से क्या बदलता है
संदर्भ विंडो 131,072 टोकन है और मॉडल अंतिम जवाब से पहले तर्क करता है। Liquid AI, llama.cpp, MLX और vLLM जैसे रनटाइम का समर्थन देती है। क्वांटाइजेशन, संदर्भ की लंबाई और एक साथ आने वाले अनुरोध मेमोरी इस्तेमाल बदलते हैं। इसलिए कंप्यूटर के अनुकूल मॉडल फाइल और रनटाइम चुनना जरूरी है, केवल उत्पाद नाम में सक्रिय पैरामीटर गिनना नहीं।
कंपनी Apple M5 Max पर 184 टोकन प्रति सेकंड और कई टूल परीक्षणों में बड़े मॉडलों पर बढ़त बताती है। ये Liquid AI के अपने परीक्षण परिणाम हैं, दूसरे कंप्यूटर के लिए गति की गारंटी नहीं। कंपनी की तालिकाओं में भी हर क्षेत्र में जीत नहीं है: कुछ ज्ञान और कोडिंग परीक्षणों में दूसरे मॉडल आगे हैं। चुनाव काम के अनुसार होना चाहिए, सिर्फ टेक्स्ट की गति के अनुसार नहीं।
इस्तेमाल से पहले गोपनीयता, लाइसेंस और भाषा
स्थानीय इन्फरेंस अनुरोध और मॉडल की गणना कंप्यूटर पर रख सकता है, लेकिन एजेंट केवल मॉडल नहीं है। खोज टूल, ईमेल या व्यावसायिक सिस्टम से कनेक्शन अब भी जानकारी इंटरनेट पर भेज सकते हैं। दस्तावेज या अनुमति देने से पहले तय करें कि कौन से टूल चलेंगे, डेटा कहां जाएगा और किस कार्रवाई को स्वीकृति चाहिए। स्थानीय इंस्टॉलेशन ये जांच खत्म नहीं करता।
खुले वेट्स का अर्थ बिना शर्त व्यावसायिक लाइसेंस भी नहीं है। LFM Open License v1.0 में 10 मिलियन डॉलर वार्षिक राजस्व सीमा से जुड़ा व्यावसायिक प्रतिबंध है। संस्थाओं को लागू शर्तें देखनी चाहिए। आधिकारिक भाषा सूची में अंग्रेजी, अरबी, फ्रेंच और जर्मन समेत कई भाषाएं हैं, लेकिन हिब्रू नहीं। इसलिए यह रिलीज विश्वसनीय हिब्रू समर्थन सिद्ध नहीं करती।
व्यावहारिक शुरुआत एक तय काम, गैर-संवेदनशील फाइलों और सीमित अनुमतियों से हो सकती है, जैसे दस्तावेज छांटना या स्थानीय स्रोतों से ड्राफ्ट बनाना। सटीकता, काम पूरा होना और संसाधन खपत जांचें, केवल मॉडल लोड होना नहीं। संभावित लाभ गणना की जगह पर ज्यादा नियंत्रण है। भरोसेमंद सेवा के लिए उचित हार्डवेयर, भाषा परीक्षण और एजेंट की कार्रवाइयों पर निगरानी अब भी जरूरी है।