संक्षेप (टीएल;डीआर)

  • मुख्य घटना: मूनशॉट एआई ने २३ अक्टूबर २०२६ को किमी के३.१ प्रो और उसका तेज संस्करण के३.१ प्रो हाईस्पीड जारी किया। यह किमी ऐप्स, किमी वर्क, किमी कोड और एपीआई पर उपलब्ध है, कीमत $२ / $१० प्रति १० लाख इनपुट / आउटपुट टोकन। मूनशॉट का कहना है कि पूरे वेट्स ४ नवंबर तक जारी होंगे।
  • असली तंत्र: कोई नया आर्किटेक्चर नहीं है। के३.१ प्रो असल में के३ ही है, जुलाई का २.८ लाख करोड़ पैरामीटर वाला मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल, जिस पर बहुत ज्यादा पोस्ट-ट्रेनिंग की गई है: सैकड़ों तरह के कामों पर बड़े पैमाने की रीइनफोर्समेंट लर्निंग। आर्टिफिशियल एनालिसिस इंटेलिजेंस इंडेक्स पर यह ४४ से ५५ पर पहुंचा, कुल मिलाकर चौथे स्थान पर, क्लॉड ओपस ५.५ से सिर्फ तीन अंक पीछे।
  • आगे की तस्वीर: प्रति टोकन कीमत एक तिहाई घटी, लेकिन प्रति काम लागत लगभग वहीं रही क्योंकि मॉडल ज्यादा लिखता है। असली खबर तारीख है। अगर वेट्स वादे के मुताबिक आ गए, तो सबसे अच्छे ओपन मॉडल और सबसे अच्छे बंद मॉडल के बीच का फासला इंडेक्स पर सिर्फ तीन अंक रह जाएगा।

जुलाई में मैंने लिखा था कि किमी के३ एक मजबूत ओपन मॉडल है, फेबल ५ का कातिल नहीं। तीन महीने बाद मूनशॉट ऐसे मॉडल के साथ लौटा है जो अग्रिम पंक्ति के और करीब है, प्रति टोकन सस्ता है, और फिर भी पूरी तरह शीर्ष पर नहीं है।

दिलचस्प बात यह है कि मूनशॉट यहां तक पहुंचा कैसे। उसने बड़ा मॉडल नहीं बनाया। उसने उसी मॉडल को सिखाने पर ज्यादा कंप्यूट खर्च किया।

क्या जारी हुआ

चीज किमी के३ (जुलाई) किमी के३.१ प्रो के३.१ प्रो हाईस्पीड
कुल / सक्रिय पैरामीटर २.८ लाख करोड़ का एमओई के३ जैसे ही आयाम; लगभग १०,४०० करोड़ सक्रिय बताए गए वही मॉडल, तेज सर्विंग
संदर्भ विंडो १० लाख टोकन १० लाख टोकन १० लाख टोकन
इनपुट के प्रकार टेक्स्ट, इमेज टेक्स्ट, इमेज टेक्स्ट, इमेज
इनपुट / आउटपुट कीमत (प्रति १० लाख टोकन) $३ / $१५ $२ / $१० $४ / $२०
कैश इनपुट (प्रति १० लाख टोकन) $०.३० $०.२० $०.२०
रफ्तार लागू नहीं आधार मूनशॉट के मुताबिक २ से ३ गुना तेज
एपीआई मॉडल आईडी kimi-k3 kimi-k3.1-pro kimi-k3.1-pro-highspeed
वेट्स जारी हो चुके ४ नवंबर तक का वादा वही वेट्स

मूनशॉट के३.१ प्रो को "किमी के३ का पोस्ट-ट्रेन्ड संस्करण, काफी ज्यादा पोस्ट-ट्रेनिंग कंप्यूट के साथ" कहता है। श्रेय आर्किटेक्चर को नहीं, इंफ्रास्ट्रक्चर को दिया गया है: उसका रीइनफोर्समेंट लर्निंग फ्रेमवर्क, लंबे संदर्भ पर इन्फरेंस, सैंडबॉक्स वातावरण, रोलआउट शेड्यूलिंग और वातावरण की गुणवत्ता की जांच।

कुछ व्यावहारिक बातें सुर्खी से ज्यादा मायने रखती हैं। एपीआई में रीजनिंग का स्तर डिफॉल्ट रूप से अधिकतम है और टेम्परेचर १.० पर तय है। एपीआई ग्राहकों के लिए जीरो डेटा रिटेंशन उपलब्ध है। होस्टेड इनपुट उन सर्वरों पर जाते हैं जिन्हें मूनशॉट की प्राइवेसी पॉलिसी सिंगापुर में बताती है। एंटरप्राइज एक्सेस डिफॉल्ट रूप से बंद है, इसलिए एडमिन को इसे चालू करना पड़ता है।

वही मॉडल, ज्यादा सिखाई

यह इस साल का पैटर्न है। अग्रिम पंक्ति के स्तर का बेस मॉडल प्री-ट्रेन करना बेहद महंगा है और इसमें महीनों लगते हैं। पोस्ट-ट्रेनिंग (ऐसे कामों पर रीइनफोर्समेंट लर्निंग जिनका नतीजा जांचा जा सके, जैसे टेस्ट पास करना, टर्मिनल की समस्याएं हल करना या स्प्रेडशीट सही भरना) हर अंक के सुधार पर सस्ती पड़ती है और इसे दोहराना कहीं तेज है।

के३.१ प्रो अब तक का सबसे साफ उदाहरण है कि एक बेस मॉडल में कितना कुछ बचा रह गया था। मूनशॉट के आंतरिक आंकड़े दिखाते हैं कि रीइनफोर्समेंट लर्निंग किस तरफ गई:

आंतरिक मूल्यांकन (मूनशॉट) किमी के३ किमी के३.१ प्रो
Kimi Code Bench 3.0, लंबी अवधि वाले काम ५५.९५% ६१.२%
फाइनेंशियल मॉडलिंग ५०.४ ५७.६
फाइनेंशियल रिसर्च ५८.८ ७०.४
बिजनेस ऑपरेशन ८.९ ३७.०
Kimi Hallu Bench Hard, दावे के स्तर पर हैलुसिनेशन (कम बेहतर) २३.४% ८.३%

बिजनेस ऑपरेशन में लगभग ४ गुना उछाल वैसा ही नतीजा है जैसा तब आता है जब मॉडल को ऐसे कामों पर ट्रेन किया जाए जिन्हें उसने पहले शायद ही देखा हो। हैलुसिनेशन में गिरावट वह आंकड़ा है जिसकी मैं स्वतंत्र पुष्टि चाहूंगा, और कुछ हद तक वह हो भी चुकी है: आर्टिफिशियल एनालिसिस के AA-Omniscience टेस्ट पर हैलुसिनेशन दर ५३% से घटकर ४४% हुई। यह असली प्रगति है, लेकिन मूनशॉट के आंतरिक बेंचमार्क की तुलना में काफी छोटी।

बेंचमार्क, पहले स्वतंत्र वाले

आर्टिफिशियल एनालिसिस

पैमाना किमी के३ किमी के३.१ प्रो तुलना के लिए
इंटेलिजेंस इंडेक्स ४४ ५५ (कुल मिलाकर चौथा) ओपस ५.५: ५८; सॉनेट ५.५ और म्यूज वंडर फुल: ५६
Terminal-Bench 4.0 १३% ६७% सॉनेट ५.५: ६४%
GDPval-AA (एलो) १,५३४ १,८४६ ओपस ५.५: १,८६६; वंडर फुल: १,८५७
Humanity's Last Exam ४७% ५२% ओपस ५.५: ६१%
CritPt २३% २५% ओपस ५.५: ३२%
SciCode ५९% ६१%
AutomationBench-AA ५८% ७३% ओपस ५.५: ७०%
साइबर इंडेक्स ४१% ६४% खुले तौर पर उपलब्ध किसी भी मॉडल में सबसे ऊंचा

पैटर्न साफ है। सबसे बड़े सुधार एजेंटिक और दफ्तरी कामों में हैं: टर्मिनल का काम, ऑफिस ऑटोमेशन और आर्थिक रूप से उपयोगी काम। सबसे छोटे सुधार कठिन वैज्ञानिक तर्क में हैं (CritPt, SciCode, Humanity's Last Exam), जहां ओपस ५.५ अब भी आराम से आगे है। जांचे जा सकने वाले कामों पर रीइनफोर्समेंट लर्निंग उन्हीं कामों को बेहतर करती है जिन पर वह ट्रेन होती है। वह मॉडल को बेहतर भौतिकशास्त्री नहीं बनाती।

अलग-अलग लेखों के आंकड़े मिलाते समय एक चेतावनी। जुलाई में आर्टिफिशियल एनालिसिस ने के३ को ५७ अंक दिए थे। अब वह के३ को ४४ पर दिखाता है। मॉडल खराब नहीं हुआ। इंडेक्स को संशोधित किया गया, और बेंचमार्क के संस्करण भी बदले: के३ ने Terminal-Bench 2.1 पर ८८.३ और Terminal-Bench 4.0 पर १३% हासिल किए। सिर्फ एक ही बोर्ड के एक ही संस्करण के आंकड़ों की तुलना करें।

मूनशॉट की अपनी तालिका

बेंचमार्क (मूनशॉट द्वारा बताए गए, अधिकतम प्रयास) के३.१ प्रो क्लॉड ओपस ५.५ जीपीटी-६ एस्ट्रा डीपसीक वी४.१ फ्लैश
Terminal-Bench 4.0 ६५.७ ६६.४ ५८.२ ४२.३
SWE Marathon v1.1 ५१.७ ४६.३ ४२.५ ४०.०
DeepSWE v1.1 ७५.५ ७४.२ ७४.१ ७७.०
HLE-Full (टूल्स के साथ) ७०.० ६७.७ ५७.२ ५८.८
BrowseComp ९२.१ ९०.८ ९१.५ उपलब्ध नहीं
OfficeQA Pro v2 ६४.४ ६२.२ ५४.४ ४०.४
GPQA Diamond ९४.२ ९३.९ ९६.१ ९२.२
BenchCAD (टूल्स के साथ) ९२.७ ९६.२ ९५.९ ८१.६
ExploitBench ७४.७ ९१.० १०० उपलब्ध नहीं

दो बातें उभरती हैं। पहली, मूनशॉट का अपना Terminal-Bench 4.0 आंकड़ा (६५.७) के३.१ प्रो को ओपस ५.५ से थोड़ा पीछे रखता है, जबकि आर्टिफिशियल एनालिसिस का रन (६७%) उसे थोड़ा आगे रखता है। टेस्ट हार्नेस की सेटिंग से आने वाले फर्क को देखते हुए इसे बराबरी मानिए। दूसरी, ये पंक्तियां अलग-अलग मॉडलों के लिए अलग-अलग मूल्यांकन सेटअप से आई हैं, किसी एक नियंत्रित मुकाबले से नहीं। इन्हें प्रोडक्ट के बारे में सबूत मानिए, साफ रैंकिंग नहीं।

SWE Marathon पर बढ़त, ओपस के ४६.३ के मुकाबले ५१.७, वह आंकड़ा है जिसका मूनशॉट सबसे ज्यादा प्रचार करेगा। कई घंटे चलने वाले प्रोजेक्ट का काम ठीक वही है जिसे लंबी अवधि की कोडिंग पर भारी रीइनफोर्समेंट लर्निंग से बेहतर होना चाहिए। लेकिन यह खुद बताया गया आंकड़ा है, इसलिए भरोसा करने से पहले मैं सार्वजनिक लीडरबोर्ड का इंतजार करूंगा।

कीमत में कटौती, जो असल में लगभग कटौती नहीं है

दर सूची एक तिहाई घटी: $३ / $१५ से $२ / $१०। इससे के३.१ प्रो ठीक उसी सूची मूल्य पर आ गया जिस पर क्लॉड सॉनेट ५.५ और जीपीटी-६ सोल हैं, यानी $२ / $१० का वह स्तर जिस पर इस महीने सब आ मिले।

अब प्रति काम बिल देखिए:

किमी के३ किमी के३.१ प्रो बदलाव
इनपुट / आउटपुट कीमत प्रति १० लाख टोकन $३ / $१५ $२ / $१० -३३%
इंटेलिजेंस इंडेक्स के प्रति काम औसत आउटपुट टोकन ~४८,००० ~५५,००० +१४%
इंटेलिजेंस इंडेक्स पर प्रति काम लागत (एए की लॉन्च रिपोर्ट) ~$२.०० ~$१.९८ ~-१%

मॉडल ज्यादा सक्षम है, और वहां तक पहुंचने के लिए ज्यादा लिखता है। सस्ते टोकन की बचत लगभग पूरी तरह अतिरिक्त टोकन में चली जाती है। आर्टिफिशियल एनालिसिस के मुताबिक के३.१ प्रो पर पूरा इंडेक्स चलाने में करीब १५ करोड़ आउटपुट टोकन लगे, जबकि तुलनीय मॉडलों का मध्यमान करीब ८.१ करोड़ है। उसकी आउटपुट रफ्तार भी एए द्वारा ट्रैक किए जाने वाले मॉडलों में सबसे धीमे मॉडलों के आसपास है।

इसका मतलब यह नहीं कि यह महंगा है। लगभग $२ प्रति इंडेक्स काम पर यह उसी सूट पर ओपस ५.५ की करीब एक तिहाई लागत में आता है। लेकिन ईमानदार सारांश है "उसी कीमत में कहीं बेहतर मॉडल", न कि "कीमत में कटौती"। और हाईस्पीड संस्करण $४ / $२० पर प्रति टोकन ओपस ५.५ जितना ही महंगा है।

तुलना के लिए बाकी बाजार:

मॉडल इनपुट / आउटपुट (प्रति १० लाख टोकन)
शाओमी मीमो-वी२.६-प्रो $०.४३५ / $०.८७
डीपसीक वी४.१ फ्लैश १०१७ (पीक) $०.३० / $१.२०
किमी के३.१ प्रो $२ / $१०
क्लॉड सॉनेट ५.५ / जीपीटी-६ सोल $२ / $१०
किमी के३.१ प्रो हाईस्पीड $४ / $२०
क्लॉड ओपस ५.५ / मेटा म्यूज वंडर $४ / $२०
जीपीटी-६ एस्ट्रा $१० / $५०

मूनशॉट कीमत पर डीपसीक से मुकाबला नहीं कर रहा। वह पश्चिमी रोजमर्रा के मॉडलों जैसी कीमत रख रहा है और दांव लगा रहा है कि ओपन वेट्स और ओपस के करीब के स्कोर इसे सही ठहराएंगे।

साइबर पर मूनशॉट की खींची रेखा

लॉन्च पोस्ट का सबसे दिलचस्प हिस्सा इस बारे में है कि मूनशॉट ने क्या हटाया। उसका कहना है कि ओपन-वेट रिलीज के लिए उसने "ट्रेनिंग के दोनों चरणों से साइबर से जुड़ा डेटा पहचान कर हटा दिया", और एक सिद्धांत रखा: "हमारा लक्ष्य ऐसे ओपन वेट्स जारी न करना है जो साइबर क्षमता की परम सीमा को आगे बढ़ा दें।"

उसने इस फैसले की कीमत अपने आंतरिक xdev-bench-hard (pass@3) पर प्रकाशित की:

चेकपॉइंट xdev-bench-hard
साइबर जोखिम घटाने से पहले के३.१ प्रो ९०.५%
जारी किया गया के३.१ प्रो ८१.०%
डीपसीक वी४.१ फ्लैश ८५.७%
जीएलएम-५.३ ५७.१%
किमी के३ ३३.३%

किसी भी लैब का ओपन वेट्स में जानबूझकर कोई क्षमता सीमित करने का पहले और बाद का आंकड़ा प्रकाशित करना दुर्लभ है। यह जीपीटी-६ एस्ट्रा की क्रिटिकल साइबर सीमा वाले तर्क पर चलता है: वेट्स एक बार सार्वजनिक हो जाएं तो बाद में पहुंच रोकने का कोई तरीका नहीं, इसलिए रोक ट्रेनिंग के दौरान ही लगानी पड़ती है।

फिर भी एक खिंचाव है। फिल्टरिंग के बाद भी आर्टिफिशियल एनालिसिस अपने साइबर इंडेक्स (६४%) पर के३.१ प्रो को खुले तौर पर उपलब्ध सबसे मजबूत मॉडल बताता है और CyberGym-E2E-AA पर ९५% दर्ज करता है, अपने रनों में बिना किसी सुरक्षा इनकार के। जारी किया गया मॉडल मूनशॉट के अपने एक्सप्लॉइट बेंचमार्क पर भी के३ से दोगुने से ज्यादा स्कोर करता है। मूनशॉट कहता है कि इसकी साइबर क्षमता "अग्रणी प्रोप्राइटरी मॉडलों से पीछे है", और यह सच है। लेकिन अग्रिम पंक्ति से पीछे होना भी उस हर चीज से बहुत आगे है जो एक साल पहले खुले तौर पर डाउनलोड की जा सकती थी।

२.८ लाख करोड़ ओपन पैरामीटर से असल में मिलता क्या है

इस आकार पर "ओपन वेट्स" का मतलब यह नहीं कि आप इसे अपने लैपटॉप पर चला लेंगे। जुलाई में के३ के लिए मूनशॉट ने खुद होस्ट करने को ६४ या उससे ज्यादा एक्सेलरेटर वाले सुपरनोड की सलाह दी थी। के३.१ प्रो के आयाम वही हैं, इसलिए उसी पैमाने की तैयारी रखिए।

फायदा किन्हें होगा, यह साफ है:

  1. इन्फरेंस प्रोवाइडर। बड़े क्लस्टर वाला कोई भी इसे होस्ट कर सकता है और कीमत व रफ्तार पर मूनशॉट के अपने एपीआई से मुकाबला कर सकता है। वेट्स जारी होने के कुछ दिनों में ओपनराउटर पर कई होस्ट दिखने की उम्मीद रखिए।
  2. संप्रभु और नियंत्रित संस्थाएं। सरकारें, बैंक और अस्पताल जो सिंगापुर या किसी भी होस्टेड एपीआई को डेटा नहीं भेज सकते, उन्हें अग्रिम पंक्ति के करीब का ऐसा मॉडल मिलता है जिसे वे अपने हार्डवेयर पर चला सकते हैं।
  3. फाइन-ट्यून करने वाले और शोधकर्ता। डिस्टिल करने, विशेषज्ञ बनाने या अध्ययन के लिए ५५ अंक वाला बेस मॉडल, ऐसा किसी ओपन रिलीज ने पहले नहीं दिया।

बाकी सबके लिए के३.१ प्रो एक होस्टेड एपीआई है जिसका एक सार्वजनिक चेकपॉइंट भी है। यह फिर भी मायने रखता है: इससे यह सीमा तय होती है कि बंद लैब क्षमता के इस स्तर के लिए कितना वसूल सकती हैं।

४ नवंबर से पहले किन बातों पर नजर रखें

  1. लाइसेंस। मूनशॉट ने "ओपन लाइसेंस" कहा है, इससे ज्यादा कुछ नहीं। किमी के२ एक संशोधित एमआईटी लाइसेंस के तहत आया था, जो सिर्फ बहुत बड़े व्यावसायिक इस्तेमाल पर नाम के उल्लेख की शर्त जोड़ता है। इससे सख्त कुछ भी हुआ तो वही खबर होगी।
  2. क्या वेट्स एपीआई से मेल खाते हैं। साइबर-फिल्टर्ड चेकपॉइंट को ही जारी मॉडल बताया गया है। स्वतंत्र दोबारा जांचों में देखिए कि डाउनलोड होने वाले वेट्स और kimi-k3.1-pro एक जैसा बर्ताव करते हैं या नहीं।
  3. SWE Marathon और DeepSWE के स्वतंत्र नतीजे। यही कोडिंग दावे कीमत को सही ठहराते हैं। सार्वजनिक लीडरबोर्ड कुछ हफ्तों में इनकी पुष्टि करेंगे या हवा निकाल देंगे।
  4. दूसरे होस्ट की कीमतें। अगर दूसरे प्रोवाइडर इसे $२ / $१० से काफी कम पर चलाने लगे, तो मूनशॉट की दर सूची संदर्भ मूल्य नहीं रहेगी।

जो बचा रह गया

मूनशॉट के रिसर्च पेज पर एक वाक्य उसकी रणनीति बताता है: "हमारा शोध ऊर्जा को बुद्धिमत्ता में बदलने का सबसे बेहतर तरीका खोजता है।"

के३.१ प्रो दिखाता है कि व्यवहार में इसका मतलब क्या है। वही पैरामीटर, वही आर्किटेक्चर, और सिर्फ पोस्ट-ट्रेनिंग से इंडेक्स पर ग्यारह अंक की बढ़त। अगर बंद लैबों की बढ़त अब ज्यादातर पोस्ट-ट्रेनिंग पर टिकी है, और पोस्ट-ट्रेनिंग ही वह हिस्सा है जिसे दोहराना सस्ता है, तो तीन अंकों का फासला ज्यादा दिन नहीं टिकेगा।

स्रोत