मुख्य शोध · ML आर्किटेक्चर

एक “Fair Use” वितरित भाषा मॉडल

23 अक्टूबर 2026rao-studios/AIIभाषा मॉडलmambaफ़ेयर यूज़उद्धरणउत्पत्ति-प्रमाणवितरित इन्फ़रेंसbraid

यह चार हिस्सों की श्रृंखला इस विचार को खंगालती है कि निजी भाषा मॉडल हमारी अपनी मशीनों पर रह सकते हैं और एक बड़े मॉडल में योगदान दे सकते हैं, जिससे डेटा सेंटरों की ज़रूरत घटती है, साथ ही citations बनते हैं और ऐसे निजीकृत अनुभव मिलते हैं जो रोज़मर्रा की ज़िंदगी में ambient रूप से हमारी मदद करें। सुनने में बहुत अच्छा लगता है... मानो यह जादू से यथास्थिति की ज़्यादातर समस्याएँ हल कर देता हो।

शायद करता है, शायद नहीं करता, शायद यह भोलापन है, पर किसी को कोशिश करनी ही होगी, और कम से कम इतनी जल्दी विफल होना होगा कि दूसरे उस समाधान की ओर बढ़ जाएँ जो संतुलन तक सचमुच पहुँचता है। एक बात का मुझे पक्का यक़ीन है: संतुलन सचमुच आ रहा है, और सवाल बस इतना है कि कहाँ, कब और कैसे।

यह चार हिस्सों की श्रृंखला होगी।

  1. जनरेटिव A.I. में “Fair Use” की ओर राह
  2. Ablations: Mamba, Falcon H1 और बहुत कुछ — जल्द आ रहा है
  3. Fair Use के इर्द-गिर्द एक framework — जल्द आ रहा है
  4. Inference को विकेंद्रित करने का एक protocol — जल्द आ रहा है

श्रृंखला के भाग 4 में मैं Anthropic की S-1 फ़ाइलिंग के एक दिलचस्प घटक, Multi-Chip Compute, को संबोधित करना चाहता हूँ, फ़ेडरेशन के नज़रिए से distributed training और inference पर शोध करके। उद्धरण नीचे है। AII के साथ Braid एक अहम OSS प्रोजेक्ट होगा, training में token की कुशलता बढ़ाने वाले तरीक़ों को परखने के लिए, ख़ासकर “Commons Model” की अवधारणा और उसके weights से ट्रेन किए गए छोटे Thread मॉडलों के इर्द-गिर्द, जिन्हें भाग 1 ऊँचे स्तर पर समेटता है।

Multi-Chip Compute का तरीक़ा। हम Claude को चार प्रमुख chip परिवारों (AWS Trainium, Google TPUs, NVIDIA GPUs और AMD GPUs) पर मूल रूप से ट्रेन और परोसते हैं, एक proprietary orchestration लेयर के ज़रिए जो हमें कीमत और प्रदर्शन के लिए workloads को अनुकूलित करने देती है। यह लचीलापन, जिसे बनाने में सालों और भारी निवेश लगा और जिसे हम मानते हैं कि बड़े पैमाने पर दोहराना कठिन है, हमारे उपलब्ध compute का विस्तार करता है, किसी एक vendor पर निर्भरता घटाता है, और हमें workloads को उनके लिए सबसे उपयुक्त हार्डवेयर तक लगातार पहुँचाने देता है। यह नींव, chip और मॉडल आर्किटेक्चर की Claude की बढ़ती समझ के साथ मिलकर, हमें नए chip प्लेटफ़ॉर्म उतने समय के एक अंश में जोड़ने देती है जितना इसमें कभी लगता था।

इस श्रृंखला का पहला हिस्सा Braid का ऊँचे स्तर का परिचय है, जो शुरुआती आर्किटेक्चर है: एक Mamba भाषा मॉडल जो token के स्तर पर उद्धृत करता है और नोड्स को वितरित भाषा मॉडल पैराडाइम के लिए तैयार करता है। फ़िलहाल Q/A क्षमताओं से पहले उसे पूर्णता के लिए परखा जा रहा है, जो fair use की समझ को एक ऐसे अभ्यास पर टिकाता है जिसका अदालत में बचाव हो सके।

तो... यह रहा पहला हिस्सा: जनरेटिव A.I. में “Fair Use” की ओर राह

विषय-सूची