ट्रेनिंग डेटा पर लगभग हर बातचीत में दो शब्द सामने आते हैं, और यही वह बचाव है जिसका सहारा इंडस्ट्री लेती है: fair use। मुझे समझ नहीं आता कि इनके भीतर का संतुलन कैसे छूट गया। दो सरल अंग्रेज़ी शब्दों का यह एक वाक्यांश तय करता है कि किसी तरह के डेटा का इस्तेमाल कब और कैसे किया जा सकता है। किसी वेब पेज से टेक्स्ट का एक अंश निकालकर उसे ट्रेनिंग में इस्तेमाल करना आमतौर पर जल्दबाज़ी के नाम पर जायज़ ठहराया जाता है: AGI की दौड़। मुझे यह अपने आप में convincing नहीं लगता। A.I. एक साधन है, उसी लक्ष्य का जिसकी ओर कंप्यूटिंग तब से बढ़ रही है जब DARPA ने दुनिया को जोड़ा था, और जो ज्ञान वह अपने भीतर रखता है, वह सबके लिए सुलभ होना चाहिए। लेकिन रास्ते में कहीं, creative commons की रक्षा के लिए जो कुछ करना पड़ता था, वह पीछे छूट गया। उस संतुलन के बिना, “इंटरनेट” का विचार ही संभव नहीं है।
जब कोई व्यक्ति समय लगाकर शब्दों को जोड़ता है और ऐसा दस्तावेज़ बनाता है जो पाठक को ज्ञान देता है, तो पाठक वह ज्ञान लेकर समाज में ज़्यादा प्रभावी ढंग से योगदान दे सकता है, उसे किसी न किसी रूप में लौटाते हुए, चाहे वह उसके एप्लिकेशन का कोई नया UX फ़ीचर हो या उसके अपने ब्लॉग पोस्ट का कोई परिशिष्ट। open source का विचार सिर्फ़ कोड पर लागू नहीं होता। यह इस पर लागू होता है कि दुनिया बुद्धिमत्ता को कैसे साझा करती है और साथ मिलकर कैसे आगे बढ़ती है। “बुद्धिमत्ता का विकेंद्रीकरण पूरे समुदाय के लिए विकास का केंद्रीकरण करता है।”
जब वह ज्ञान बिना सहमति के लिया जाता है, ताकि सोच की ऐसी अलग-थलग, संकुचित मशीनें ट्रेन की जा सकें जो सीखने के इन रास्तों को बनाने वाले लोगों को श्रेय नहीं दे सकतीं, तब उसका सार, उसका संतुलन, इंटरनेट का विचार ही घिसने लगता है। मेरा ऐतराज़ इस पर नहीं है कि मशीनें सार्वजनिक वेब पढ़ें, सर्च भी यही करता है, और वह detector भी जो मैं बना रहा हूँ। मेरा ऐतराज़ उन generative सिस्टम से है जो लोगों के काम को सोख लेते हैं और उसे बिना सहमति, श्रेय या मुआवज़े के वापस थमा देते हैं। मेरा मानना है कि “dead internet theory” को पलटा जा सकता है, और यह पलटाव समाधान बनाने से शुरू होता है: अदालतें अभी तक ढल रही हैं, और बिना सहमति के ट्रेनिंग डेटा जुटाने के पक्ष में जब आम दलीलें दी जाती हैं, तब इंगित करने के लिए अभी कोई काम करने वाला विकल्प मौजूद नहीं है।
मुझे नहीं लगता कि “AGI” वह लक्ष्य है जो सबसे ज़्यादा मायने रखता है। इंसान विकसित होते हैं, और A.I. ज़्यादातर यही साबित करेगा कि इंसान scale करते हैं: एक model हमेशा और ज़्यादा ज्ञान जुटाने की दौड़ में रहेगा, हर उस स्रोत से जहाँ तक वह पहुँच सके, सिर्फ़ इसलिए कि वह इस रफ़्तार के साथ चल सके कि लोग अपने आसपास के सिस्टम के अनुसार कैसे ढलते हैं। वह दौड़ कभी ख़त्म नहीं होती, और मैं हमेशा इंसान पर दाँव लगाऊँगा कि वह मशीन को पछाड़ देगा। इसलिए बुद्धिमत्ता की समस्या को ग़लत तरीके से पेश किया जा रहा है। डेटा पर स्पष्ट रूप से व्यक्ति का मालिकाना होना चाहिए, निजी और व्यक्तिगत, और उसे माँग पर उन सिस्टम को पट्टे पर दिया जाना चाहिए जो उसे इकट्ठा करते हैं।
Large language models अपने मूल में डेटा के किसी corpus के भीतर मौजूद स्रोतों के aggregate हैं। इस aggregate को वापस उसके स्रोतों तक उद्धृत किया जा सकता है, और वह सच उजागर और पारदर्शी होना चाहिए, न कि किसी S3 bucket में गड्डमड्ड पड़ा हुआ, अगले epoch के लिए खींचे जाने के इंतज़ार में।
इसके लिए एक framework चाहिए: ठीक यही करने के लिए आर्किटेक्चर और सही स्टोरेज इकाइयाँ। frontier पर प्रगति की साख तभी बनी रहती है जब रास्ते में सड़कें पक्की की जाएँ। वरना जिस आविष्कार में अरबों डाले जा रहे हैं, उसकी साख उन्हीं लोगों की कीमत पर डगमगा जाती है जिन्होंने उसे पहली जगह बनाने में मदद की थी। रचनाकार, बौद्धिक लोग, commons।