भविष्य की दृष्टि
STTP
Semantic Token Transfer Protocol। सोचिए अगर एक नया इंटरनेट इस विचार के इर्द-गिर्द बनाया जाए कि हमारे डिवाइस पर रखे डेटा के लिए बनाते और बदलते ही टोकन अपने-आप तैयार हो जाते हैं, ये टोकन हर समय उपलब्ध रहते हैं, और हमारी मशीनें अपने टोकन दूसरी मशीनों से peer-to-peer बात करके साझा कर सकती हैं। अनुरोध के हिसाब से, इन टोकन को एक ऐसी लेयर में इकट्ठा करके उन पर भविष्यवाणी की जाती है जो ट्रांसफ़ॉर्मर की आख़िरी लेयरों की नकल करती है, उस भविष्यवाणी से ठीक पहले जो टेक्स्ट कम्प्लीशन तैयार करती है।
इस नए ऑपरेटिंग सिस्टम पर बना हर एप्लिकेशन और सॉफ़्टवेयर अपने-आप एग्रीगेट किए गए टोकन संदर्भ को पढ़ सकता है, और रेंडर करने से पहले उसे एक बिल्ट-इन प्रेडिक्शन लेयर में “कंपाइल” कर लेता है। वह किस तरह का सिस्टम होगा? एप्लिकेशन की सतहें कैसी दिखेंगी? वेबसाइटें कैसी दिखेंगी? क्या यह सिर्फ़ इंटरनेट का प्रोटोकॉल होना चाहिए, या इसे निचले स्तर पर होना चाहिए? vector database और RAG यही करते हैं, एक आज़माया हुआ आर्किटेक्चर, बस अभी तक वह OS के स्तर पर विकेंद्रीकृत नहीं है या नेटवर्क स्तर पर डिफ़ॉल्ट के रूप में पूरी तरह लागू नहीं हुआ है।
हाल में मैं अपनी अंतर्दृष्टि पर भरोसा कर रहा हूँ, और यह विचार मेरे पास पिछले साल से है, पर मैं यह नहीं मानना चाहता था कि मैं सिर्फ़ इसलिए एक हक़ीक़त गढ़ रहा हूँ कि मैं खुद व्यवहार में एक नया सिस्टम लागू कर रहा था। MaryOS को पूरा करने के क़रीब पहुँचने और उसके सिस्टम ऑफ़ सिस्टम्स को समझने से यह साफ़ करने में और/या इतना भरोसा देने में मदद मिली है कि ऐसा भविष्य सचमुच संभव है। फ़ेडरेटेड तकनीकों पर काम करते हुए Privacy Preserving Measurement (PPM) और उसके Distributed Aggregation Protocol (DAP) से टकराने पर मुझे ऐसी कड़ियाँ जोड़ने में मदद मिली है जिन्हें मुझे नहीं पता कि कोई और जोड़ रहा है या नहीं, हालाँकि हो सकता है वे कहीं पहले से बन रही हों।
PPM ठीक उसी हिस्से को संबोधित करता है जिसे मैंने अनकहा छोड़ रखा था: कई मशीनें किसी एग्रीगेट में योगदान कैसे दे सकती हैं, बिना इसके कि उनमें से कोई भी, या कोई सर्वर, एक-दूसरे के कच्चे मान देख सके?
एक छोटा हेडलेस मॉडल शब्दावली पर कच्चे logits देता है (|vocab| आकार का वेक्टर, बिना नॉर्मलाइज़ किए स्कोर, कोई softmax नहीं)। कई मॉडलों के logit वेक्टर को जोड़ना और फिर एक softmax लगाना गणितीय रूप से हर मॉडल के अपने प्रायिकता वितरण का औसत निकालने से अलग है। नॉर्मलाइज़ करने से पहले logits को जोड़ना, दोबारा नॉर्मलाइज़ करने पर, अलग-अलग प्रायिकता वितरणों को आपस में गुणा करने के बराबर है। यह Hinton का Product of Experts (1999) है, Mixture of Experts नहीं।
यह शुद्धतम अर्थ में आम सहमति का एक रूपक है, जो नेटवर्किंग से चलता है और जिसका नतीजा एग्रीगेशन या सामान्य बुद्धिमत्ता का असली विचार है। शायद softmax को अलग निकालना अब भी बहुत प्राथमिक बात है, पर मैं सोचता हूँ कि क्या ये विचार इस समझ को जगाते हैं कि सही अंतिम लक्ष्य क्या हो सकता है, ख़ासकर तब जब हम इस विचार की ओर बढ़ रहे हों कि लाखों छोटे मॉडलों को जोड़ना आख़िरकार कुछ गिने-चुने विशाल फ़्रंटियर मॉडलों से बेहतर नतीजा होगा।