← एक “Fair Use” वितरित भाषा मॉडल

जनरेटिव A.I. में “Fair Use” की ओर राह

4 में से भाग 1

एक साल पहले, अक्टूबर 2025 में, मैं भाषा मॉडलिंग में “fair use” का जवाब खोजने निकला था, और मैंने retrieval-आधारित citation से शुरुआत की: एक proof of concept जो एक डेटाबेस पर vector similarity searches चलाता था और हर उपयोगकर्ता के काम से दिए गए कॉन्टेक्स्ट से जनरेट किए गए आउटपुट का जितना हिस्सा मेल खाता, उसके हिसाब से रॉयल्टी का हिस्सा बाँटता था। वह knowledge graphs में विकसित हुआ और आख़िरकार AII बना। वह प्राथमिक स्तर का था, पर इतना अच्छा चला कि व्यवहार्यता साबित हो जाए, और इतना कि मुझे और आगे धकेल दे, भाषा मॉडल के भीतर और उसके असली token distributions तक। यहाँ सटीकता सबसे ज़्यादा मायने रखती है, क्योंकि मैं एक ऐसा बुनियादी framework तय करना चाहता हूँ जिसे अदालतें कॉपीराइट मामलों में इस्तेमाल कर सकें, ऐसे मामले जिनमें पहचान और मापदंडों में बेरहम ईमानदारी चाहिए।

ऐसा करने के लिए मैंने इस भाषा मॉडलिंग पैराडाइम को अपनी एक पुरानी कहावत पर बनाना शुरू किया, “बुद्धि का विकेंद्रीकरण पूरे के विकास को केंद्रित करता है।” मैं साथ ही एक दूसरी समस्या भी हल करना चाहता था: डेटा-सेंटर की समस्या। मैं आम तौर पर “एक पत्थर, कई निशाने” की सोच से काम करता हूँ, इसलिए यह इंजीनियरिंग प्रक्रिया मेरे लिए काफ़ी आम है... ख़ासकर जब निशाने बेमेल लगें और मैं सही पत्थर ठीक-ठीक पहचान सकूँ... क्योंकि कुछ पत्थरों/शिलाओं/अयस्कों को निकालना भी सिरदर्द होता है। उस पूरे समाधान पर मैं श्रृंखला के भाग 4, Inference को विकेंद्रित करने का एक protocol, में लौटूँगा।

उसी राह पर चलते हुए मैं अनजाने में fair use, citations और हर token पर रॉयल्टी वितरण की पूरी समस्या के एक नए नज़रिए पर पहुँचा। भाषा मॉडल के पास weights होते हैं, और ये weights इस बात का नक्शा हैं कि जब शब्द मॉडल में डाले जाएँ तो कौन सा token, यानी शब्द के ये “अक्षर”, अगले संभावित विकल्प के रूप में पेश किया जाए। इस विकेंद्रित डिज़ाइन के काम करने के लिए, कई मशीनें, हमारी निजी मशीनें, हर एक एक निजीकृत “छवि” रखेंगी जो हक़ से हमारी है और सिर्फ़ हमारे डेटा से बनी है, पर कहीं और के एक बड़े बेस मॉडल पर ट्रेन की गई। मैं उस मॉडल को “The Commons” कहता हूँ, जिसे तकनीकी रूप से Rao के foundation model की तरह माना जाता है। उसके weights को आधा काटा जाता है ताकि पिछला सिरा उपयोगकर्ता के निजी मॉडल के weights के ऊपर जमाया जाए और बेहतर अनुमान मिलें, और उस प्रक्रिया में कुछ पैदा हुआ: इस सवाल का जवाब कि entropy, अनुमान के भीतर मापी गई अराजकता का यह विचार, कैसे उपयोगकर्ता के निजी मॉडल में ठीक उस token को ठीक उसी रचना से जोड़कर उद्धृत करने के काम आ सकती है जहाँ से वह आया, और यह पहचानने के लिए कि उपयोगकर्ता का मॉडल पाठ का ऐसा क्रम बना भी सकता है या नहीं। इस प्रक्रिया में हो सकता है मुझे एक शुरुआती framework मिल गया हो जिसे समुदाय “fair use” के विचारों की ओर संशोधित कर सके।

भाषा को विरोधी ढंग से मापना बहुत जटिल चीज़ है। शब्दों की कोई लड़ी सचमुच J.D. Salinger से आई या Fitzgerald से या Steinbeck से... मेरा दावा है कि हर किताब में 4-7 शब्दों की ऐसी लड़ी होगी जो बिल्कुल एक जैसी हो। कैसे पता चलेगा कि कौन सी किसकी है? यह विचार completion से समझना आसान है। Completion बड़े भाषा मॉडलों (ChatGPT और Claude में दिखने वाली सेवाएँ) में A.I. inference का एक रूप है जहाँ मॉडल auto-complete की तरह काम करता है: आप टाइप करते हैं तो वह अनुमान लगाता है कि आगे क्या है। Auto-complete, एक तरह से, उस सवाल-जवाब वाले चैट इंटरफ़ेस की जड़ था जिसने नवंबर 2022 में दुनिया बदल दी। मान लीजिए कोई उपयोगकर्ता किताब लिख रहा है, और उसका कॉन्टेक्स्ट अंश-दर-अंश बनता है। क्या वह लेखन एक तरह की ऊर्जावान entropy पैदा करता है जिसे मॉडल माप सके? और क्या वह entropy उस “ऊर्जा¹” से मेल खा सकती है जो Salinger का काम उन्हीं 4-5 शब्दों पर पैदा करता है, उन शब्दों पर जो Steinbeck और Fitzgerald भी साझा करते हैं, ताकि अनुमानित completion की रॉयल्टी पाने के लिए Salinger को चुना जाए?

किसी token की जगह और वह कहाँ से आया, यह उद्धृत करने की सटीकता कुछ हद तक मेरे डेटाबेस समाधान Thread की वजह से है, जो Ambient Intelligence Index का हिस्सा है: एक index जो डेवलपर की A.I. एप्लिकेशनों के लिए निजी मशीनों पर निजी तौर पर डेटा जुटाता है और उसे Braid के लिए तैयार करता है, जो उनके चुने हुए threads से मॉडल गूँथता है, जिसे मैं इस श्रृंखला के भाग 4 में समेटूँगा।

जैसे-जैसे उपयोगकर्ता डेटा जुटाता है, उसका Thread नोड अपने index से जुड़ा एक मॉडल अपने आप ट्रेन करता है। यह उसका अपना निजी भाषा मॉडल है, जिसे उस ख़ास वितरित तरीक़े से ट्रेन किया गया है जो provenance को पहले ही संभव बनाता है। साझा foundation model, ‘The Commons’, की ‘पूँछ’ Thread के ‘सिर’ से जुड़ी है, जो commons के सिर की नक़ल के रूप में शुरू होता है और उपयोगकर्ता के निजी कामों पर ट्यून किया जाता है। delta³ का मतलब है दोनों सिरों के बीच ‘यहाँ क्या बदला’, जब Thread ने उपयोगकर्ता के लेखन का अनुमान लगाना सीखा। वह बदलाव उपयोगकर्ता के शब्दों पर Thread की entropy (H_lm⁴) में दिखता है, जिससे Braid बता सकता है कि शब्द उस उपयोगकर्ता के Thread से आए। ट्रेनिंग के बाद, मॉडल के लिखते समय कोई delta की गणना नहीं करता। वह अपने आप दिखता है, इस बात में कि Thread कितना निश्चित है, और Braid उसे हर शब्द पर मापता है, जिसका नतीजा है provenance का एक उभरता हुआ व्यवहार।

एक citation बताता है कि एक शब्द कहाँ से आया। trace एक लंबा सवाल पूछता है: क्या पाठ Thread के किसी दस्तावेज़ का, शब्द-दर-शब्द, क्रम से अनुसरण कर रहा है? यह पन्ने पर चलती उँगली की तरह काम करता है।

मैं कहूँगा कि इसकी असली वंशावली एक thread नोड के लक्ष्य और प्रक्षेप-पथ को मापने से शुरू हुई, और संग्रहीत पाठों के बीच रॉयल्टी बँटवारे के बुनियादी आर्थिक सवालों के जवाब देने से। यह सिर्फ़ एक thread को श्रेय देने के लिए नहीं चुनता; यह token को खुद एक distribution के ज़रिए बाँट देता है। तो Salinger, Fitzgerald और Steinbeck वाले पहले उदाहरण में, भले ही Salinger का thread जीता, फिर भी संभावना है कि प्रक्षेप-पथ, लक्ष्य और trace की गणना Fitzgerald और Steinbeck को भी आंशिक हिस्से दे। वे अब भी भाषाई रूप से अनुमान को समर्थन देते हैं, भले ही पूछने वाला Salinger से ज़्यादा मेल खाता हो। तो यह आराम से 0.7, 0.2, 0.1 का बँटवारा हो सकता है, जिसकी गणना होती है और जो हर thread को बाँटा जाता है और अगले-token का अनुमान देने के लिए दर्ज होता है। मेरे नज़रिए से, किसी लिखित काम की कमाई बाँटने का यह एक पूरा और समझदार आर्थिक निष्कर्ष है।

29 सितंबर, 2026: “हम लेखक के गद्य के इस अनोखे प्रक्षेप-पथ को उसके thread पर पढ़ना चाहते हैं… ताकि umbrella/reed उपयोगकर्ता के लेखन के प्रक्षेप-पथ को साफ़ समझ सके और prompt की यह क्षमता कि वह उस लेखन शैली की ओर प्रक्षेप-पथ पर पूरी सटीकता से पूरा करने के लिए सबसे नज़दीकी thread खोज सके। वही thread की फ़िंगरप्रिंट बन जाता है।”

इस फ़िंगरप्रिंट की खोज का मतलब स्क्रीन पर अक्षरों से एक लेखक की पहचान समझना है। यह नीमहकीमी जैसा लग सकता है... फिर भी हो सकता है यहाँ खोदने लायक कुछ हो। अर्थशास्त्र एक और ऊपर से बेमेल निशाना है: प्रक्षेप-पथ सिस्टम को चकमा दिए जाने से बचाता है, और “lift” का विचार thread नोड को वरीयता देने देता है जैसे-जैसे उसकी फ़िंगरप्रिंट समय के साथ पूछने वाले से ज़्यादा मेल खाती है।

1 अक्टूबर, 2026: “यहीं ‘aim model’, ‘entropy’, ‘tracing’, ‘trajectory’ उस विचार में मिलते हैं कि उसी तथ्य के साथ रॉयल्टी का भुगतान किस thread को हो, यह कैसे तय हो।”

tracing के काम में ही, यानी किस thread को lift करना है यह चुनने के लिए प्रक्षेप-पथ को trace करने में, मैंने वह ख़ाली जगह उजागर की जिसे delta भरता है। उस ख़ाली जगह ने मुझे दिखाया कि tracing कैसे जाँचता है कि provenance index में H_knn⁵ जिसे उद्धृत किए जाने का दावा करता है, वह उन्हीं tokens के लिए है जिन्हें H_lm⁴ उस चीज़ में उपयोगकर्ता का पहचानता है जिसका अनुमान लगने वाला है: commons के सिर और Thread के सिर के बीच के delta का एक उभरता हुआ व्यवहार, जो training में मिला।

आख़िर में, तीन समस्याएँ साथ हल करनी पड़ीं: विकेंद्रित, वितरित सोच; token तक सटीक citations; और ऐसी रॉयल्टी जिसे चकमा न दिया जा सके। हर एक से जूझना ही यहाँ तक लाया। पता चला कि यह तीन निशाने, एक पत्थर था: delta।

चौथा निशाना इस साल वसंत में सधा: citation-आधारित retrieval, इस बीच, Q/A चैटबॉट interactions के लिए रॉयल्टी की पटरी का काम कर सकता है। Token-स्तर का citation completion को संभालता है और retrieval Q/A को, किसी generation के पीछे के स्रोतों को किसी वेबसाइट की जगह लेखक के नाम उद्धृत करते हुए। भाग 2 में मैं परखूँगा कि क्या यही बना रहना चाहिए, या citation को braided thread मॉडल की Q/A training लेयर में चला जाना चाहिए, जहाँ सवाल तथ्यों से निकलते हैं, मॉडल retrieval के बिना सीधे जवाब देता है, और उन जवाबों को रॉयल्टी के हिस्से के साथ उद्धृत किया जाता है। इसमें दिक़्क़त यह है कि वह framework के पीछे के मूल दर्शन का वाक़ई पालन नहीं करता: completion, tracing, और आर्थिक चकमेबाज़ी का प्रतिरोध। Q/A का भुगतान पूरी तरह तथ्यों पर करना पड़ेगा, और अगर कई threads के पास वही तथ्य हों तो एक thread को दूसरे पर “lift” करने की कोई ख़ास वजह नहीं बनती, जब तक कोई thread भरोसे और निर्भरता के एक लगातार पैटर्न के साथ तथ्य न दे जिससे विश्वसनीयता का स्कोर निकाला जा सके। इसी तरह की सोच आगे आएगी जैसे-जैसे मैं श्रृंखला में आगे बढ़कर पहचानता हूँ कि इस क्षेत्र में ‘fair use’ का मतलब क्या है।

भाग 2 खुद मॉडल की ablation करता है। Braid अभी attention की जगह Mamba इस्तेमाल करता है, इसलिए कोई KV cache नहीं है। इससे वह हल्का और तैयार रहता है। जो सवाल मैं परखूँगा वह यह है कि क्या सिर और पूँछ का बँटवारा अकेले काम करता है, या Mamba भी मायने रखता है। मैं प्रदर्शन, memory की सीमाओं और एक छोटे foundation model की सटीकता को भी देख रहा हूँ, और यह भी कि क्या कोई और उभरता व्यवहार मेरे रोज़मर्रा के कामों में मदद करता है, साथ ही on-device निजता और निजीकरण बनाए रखते हुए जो यह सिस्टम देता है और जिनके इर्द-गिर्द hosted एंटरप्राइज़ असिस्टेंट डिज़ाइन नहीं किए गए हैं।

अगर इस पैराडाइम को अपनाना बढ़ता है, तो मुझे उम्मीद है कि असली versioned ‘fair use’ frameworks का मसौदा बनाने के लिए ठोस ज़मीन तक पहुँचूँगा। इस श्रृंखला का भाग 3 वह जगह है जहाँ मैं शुरुआती मसौदा प्रकाशित करूँगा, ताकि चर्चा वहाँ से शुरू हो सके, नीति के उन लोगों के साथ जो पूरी इंडस्ट्री में प्रगति के ठोस, अमल लायक़ प्लान की समीक्षा और छँटाई कर सकें।

P.S.

यह लिखते हुए मुझे यह गाना याद आया, और मैं इसे श्रृंखला के इस हिस्से का थीम बनाना चाहूँगा। मुझे लगता है ज़िंदगी छोटी है, और कभी-कभी रुककर गुलाबों की ख़ुशबू लेना ही सबसे अच्छा होता है। यह उन्हीं मौक़ों में से एक है जब वह कहावत याद आती है।

मैं अजीब ढंग से मानता हूँ कि पिछले दो सालों में रचनात्मक काम के इर्द-गिर्द के कुछ तनाव तब सुलझ सकते हैं जब ‘fair use’ का जवाब मिले: यह जानकर कि इस नए दौर में मानविकी का कम से कम हिसाब रखा गया है। फिर, एक समाज के रूप में, हम शायद वहीं से शुरू कर सकते हैं।