संक्षेप (TL;DR)

  • समस्या: बंद प्रयोगशालाएं और क्लाउड निर्भरता कृत्रिम बुद्धिमत्ता क्षमताओं को कॉर्पोरेट डेटा सेंटरों पर केंद्रित करती हैं, जिससे ऑफ़लाइन डेस्कटॉप निष्पादन और डेवलपर संप्रभुता सीमित होती है।
  • समाधान: मेटा सुपरइंटेलिजेंस लैब्स ने म्यूज़ ग्लिमर (३०B) अपाचे २.० लाइसेंस के तहत जारी किया, जो म्यूज़ स्पार्क से डिस्टिल किया गया है और एकल GPU पर निष्पादन के लिए डीफ़्लैश डिकोडिंग से लैस है।
  • परिणाम: सामान्य कंप्यूटर (मैक और पीसी) अब ३०B एजेंटिक कार्यों को स्थानीय रूप से निष्पादित कर सकते हैं। इसके साथ ही म्यूज़ स्पार्क के आगामी ओपन-वेट की घोषणा, १४-पृष्ठों का निबंध "भविष्य सभी के लिए है" और $१ अरब का सामुदायिक डेटा सेंटर फंड प्रस्तुत किया गया।

मेटा सुपरइंटेलिजेंस लैब्स ने अपना नवीनतम ओपन-वेट कृत्रिम बुद्धिमत्ता मॉडल, म्यूज़ ग्लिमर, जारी किया है। यह ओपन-वेट मॉडल और बंद क्लाउड एपीआई के बीच जारी वैश्विक प्रतिस्पर्धा में एक महत्वपूर्ण रणनीतिक मोड़ है।

यह ३० अरब पैरामीटर वाला मॉडल विशेष रूप से हमेशा चालू रहने वाली स्थानीय एजेंट कार्यप्रणालियों के लिए निर्मित है, जिसमें संरचनात्मक टूल निष्पादन, दीर्घकालिक तर्क, बहु-विषयक छवि समझ और जेसन स्कीमा अनुपालन शामिल हैं। पारंपरिक सीमावर्ती मॉडलों के विपरीत, जिन्हें बहु-नोड क्लस्टर होस्टिंग की आवश्यकता होती है, म्यूज़ ग्लिमर को एकल discrete जीपीयू या मैक एकीकृत मेमोरी वाले उपभोक्ता हार्डवेयर पर पूरी तरह स्थानीय रूप से चलाने के लिए तैयार किया गया है।

मॉडल जारी करने के साथ, मेटा के मुख्य कार्यकारी अधिकारी मार्क ज़करबर्ग ने एक १४-पृष्ठों का निबंध प्रकाशित किया जिसका शीर्षक "भविष्य सभी के लिए है" है। इस दस्तावेज़ में ज़करबर्ग ने बंद प्रयोगशालाओं के एक छोटे समूह के भीतर बुनियादी ढांचे के संकेंद्रण की आलोचना की और सीधे उपयोगकर्ता के स्वामित्व वाले हार्डवेयर पर व्यक्तिगत सुपरइंटेलिजेंस का समर्थन किया।

रणनीतिक बदलाव: ओपन-वेट बनाम क्लाउड एकाधिकार

यह रिलीज़ वैश्विक कृत्रिम बुद्धिमत्ता पारिस्थितिकी तंत्र में दो प्रमुख मोर्चों को लक्षित करती है: बंद क्लाउड एपीआई प्रदाता और अलीबाबा (कुवेन २.५) तथा दीपसीक (आर१) जैसे अंतरराष्ट्रीय प्रतिस्पर्धियों द्वारा तेज़ ओपन-वेट रिलीज़।

रणनीतिक पहल प्राथमिक उद्देश्य लक्षित वास्तुकला लाइसेंस और शासन
म्यूज़ ग्लिमर (३०B) एकल जीपीयू स्थानीय एजेंट निष्पादन ३०B सघन, समूहीकृत-प्रश्न ध्यान (GQA) अनुमति योग्य अपाचे २.०
म्यूज़ स्पार्क (आगामी) सीमावर्ती स्तर का खुला मॉडल प्रतिस्पर्धा बहु-नोड क्लस्टर स्केल ओपन-वेट प्रतिबद्धता
ज़करबर्ग ओपन घोषणापत्र कॉर्पोरेट एकाधिकार को रोकना व्यक्तिगत सुपरइंटेलिजेंस समर्थक सार्वजनिक नीति अभियान
$१ अरब बुनियादी ढांचा कोष स्थानीय कंप्यूट सुविधाओं का विकास डेटा सेंटर होस्ट समुदाय प्रत्यक्ष क्षेत्रीय निवेश

मेटा के १० अगस्त के मुख्य बिंदु:

१. अनुमति योग्य अपाचे २.० लाइसेंस: म्यूज़ ग्लिमर में कोई व्यावसायिक उपयोग सीमा या राजस्व-आधारित लाइसेंस प्रतिबंध नहीं है, और इसके वेट्स हगिंग फेस पर सार्वजनिक रूप से उपलब्ध हैं। २. आगामी म्यूज़ स्पार्क रिलीज़: मेटा ने पुष्टि की है कि उसके बड़े सीमावर्ती मॉडल म्यूज़ स्पार्क के ओपन-वेट आने वाले सप्ताहों में जारी किए जाएंगे। ३. व्यक्तिगत सुपरइंटेलिजेंस घोषणापत्र: ज़करबर्ग ने ओपन-वेट को व्यक्तिगत स्वायत्तता के लिए एक आवश्यक सुरक्षा कवच के रूप में रेखांकित किया। ४. $१ अरब डेटा सेंटर फंड: मेटा के भौतिक कंप्यूट सुविधाओं की मेजबानी करने वाले समुदायों के लिए एक समर्पित बुनियादी ढांचा पहल।

प्रशिक्षण प्रक्रिया और डीफ़्लैश डिकोडिंग गतिशीलता

म्यूज़ ग्लिमर को मेटा के मुख्य मॉडल म्यूज़ स्पार्क से जटिल एजेंटिक तर्क को एक सघन पैरामीटर आकार में स्थानांतरित करने के लिए डिज़ाइन की गई बहु-स्तरीय डिस्टिलेशन प्रक्रिया के माध्यम से प्रशिक्षित किया गया था।

प्रशिक्षण पद्धति

१. लॉगिट डिस्टिलेशन पूर्व-प्रशिक्षण: मूल मॉडल ने उच्च-घनत्व कोड रिपॉजिटरी और टूल निशानों पर म्यूज़ स्पार्क के आउटपुट से सीधे सीखा। २. एजेंट-सघन मध्य-प्रशिक्षण: नेटवर्क को विस्तृत संदर्भ अनुक्रमों पर प्रशिक्षित किया गया जिसमें चरण-दर-चरण तर्क पथ और टूल इतिहास शामिल थे। ३. पुनर्बलन पश्चात-प्रशिक्षण: मेटा के उन्नत मूल्यांकन ढांचे के तहत कोडिंग, गणित और एजेंटिक क्षेत्रों में सुदृढ़ीकरण सीखने के साथ पर्यवेक्षित फाइन-ट्यूनिंग को जोड़ा गया।

डीफ़्लैश डिकोडिंग द्वारा गति वृद्धि

स्थानीय हार्डवेयर पर टोकन-दर-टोकन पीढ़ी की बाधाओं को दूर करने के लिए, म्यूज़ ग्लिमर डीफ़्लैश वास्तुकला पर आधारित एक सहयोगी मॉडल को एकीकृत करता है। यह घटक बहु-टोकन ब्लॉक प्रस्तावित करता है जिन्हें ३०B मॉडल समानांतर में सत्यापित करता है। यह RTX ५०९० जीपीयू पर ३.१ गुना और Apple M५ Max प्रोसेसर पर १.८ गुना तक डिकोडिंग गति बढ़ाता है।

क्वांटिसेशन स्तरों के अनुसार संसाधन आवश्यकताएं

क्वांटिसेशन आवश्यक वी-रैम टोकन / सेकंड (RTX ४०९०) टोकन / सेकंड (Apple M३ Max) अनुशंसित उपयोग मामला
Q४_K_M (४-बिट) १८.२ GB ६२ टोकन/सेकंड ४१ टोकन/सेकंड एकल २४GB जीपीयू, तेज़ डेस्कटॉप एजेंट
Q८_० (८-बिट) ३२.८ GB ३४ टोकन/सेकंड २२ टोकन/सेकंड दोहरी जीपीयू / एकीकृत मेमोरी मैक, उच्च शुद्धता
FP१६ (गैर-क्वांटाइज्ड) ६१.४ GB १४ टोकन/सेकंड ९ टोकन/सेकंड बहु-जीपीयू वर्कस्टेशन, संदर्भ सत्यापन

मॉडल तुलना: म्यूज़ ग्लिमर बनाम प्रतिस्पर्धी

मीट्रिक / सुविधा मेटा म्यूज़ ग्लिमर (३०B) अलीबाबा कुवेन २.५ (३२B) दीपसीक आर१ (३२B) बंद सीमावर्ती एपीआई
लाइसेंस अपाचे २.० अपाचे २.० एमआईटी प्रोप्राइटरी
टूल सटीकता (BFCL v२) ८८.४% ८५.१% ८२.६% ९१.२%
ह्यूमन-इवल कोडिंग (Pass@१) ८४.२% ८३.७% ८६.९% ८९.५%
संदर्भ सीमा १२८k १२८k ६४k १२८k से २M
एकल जीपीयू स्थानीय रन हां (२४GB वी-रैम) हां (२४GB वी-रैम) हां (२४GB वी-रैम) नहीं (केवल क्लाउड)
डेटा गोपनीयता १००% स्थानीय १००% स्थानीय १००% स्थानीय तृतीय-पक्ष क्लाउड

उत्पादन सीमाएं और हार्डवेयर चुनौतियां

उत्पादन परिवेश में म्यूज़ ग्लिमर को तैनात करने के लिए विशिष्ट सीमाओं का प्रबंधन करना आवश्यक है:

१. संदर्भ मेमोरी स्पिलओवर: ४-बिट क्वांटिसेशन पर संदर्भ को ३२k टोकन से आगे बढ़ाने पर के-वी कैश का ओवरहेड बढ़ता है। २४GB जीपीयू पर यदि समानांतर अनुरोध २ से अधिक हों तो आउट-ऑफ-मेमोरी त्रुटि आ सकती है। २. टूल कॉल लूप पुनरावृत्ति: यद्यपि एकल टूल कॉल पर जेसन स्कीमा अनुपालन ९८.७% तक पहुंचता है, ४ चरणों से अधिक के लूप पैरामीटर प्रकार सटीकता में ६.३% की कमी दर्शाते हैं। ३. संख्यात्मक तर्क पर क्वांटिसेशन हानि: Q४_K_M क्वांटिसेशन जटिल फ्लोटिंग-पॉइंट गणनाओं में FP१६ की तुलना में २.१% की मामूली गिरावट दर्शाता है। वित्तीय एजेंटों के लिए Q८_० या FP१६ का उपयोग करने की सलाह दी जाती है।

एकीकरण और आगे का रास्ता

  • रनटाइम और ऑकेस्ट्रेशन: म्यूज़ ग्लिमर मूल रूप से ओलामा, एल-लामा.सीपीपी, वी-एलएलएम, एस-जी-एल-एलएम, एमएल-एक्स और ओपन-क्लॉ का समर्थन करता है।
  • डेवलपर अनुकूलन: टीमें पायटॉर्च टॉर्च-टाइटन का उपयोग करके विशिष्ट एजेंटिक लूप के लिए मॉडल को फाइन-ट्यून कर सकती हैं।
  • नीतिगत बहस: मार्क ज़करबर्ग का निबंध अंतरराष्ट्रीय नियामकों पर ओपन मॉडल वेट्स को नियंत्रित सॉफ्टवेयर संपत्ति के बजाय पारदर्शी बुनियादी ढांचे के रूप में मानने का दबाव डालता है।