भविष्य की दृष्टि
जब फ़ेडरेशन मिलता है Mary से
पाइप उन लोगों के हाथों बन रहा है जिनके पीछे सालों की क्रिप्टोग्राफ़ी है। उसके नीचे की मंज़िलें वह हिस्सा हैं जिसे कोई नहीं बना रहा।
मैंने Ambient Learning में एक सवाल खुला छोड़ा था: जब फ़ेडरेशन शोध का एक कोना न रहकर सादा इंफ्रास्ट्रक्चर बन जाएगा, जैसे HTTPS और containers बने, तब क्या होगा? जिस प्रोजेक्ट से मैंने यह विचार सीखा था वह FATE था, इसलिए यह उसी पर बना एक पूर्वानुमान है, और इस बात का ब्योरा भी कि Mary, वह छतरी जिसके नीचे मैं बाक़ी सब कुछ बना रहा हूँ, डिवाइस से शुरू करके वही काम कैसे कर सकती है।
(मेरी अपनी repositories और FATE के सार्वजनिक README और पेपरों से A.I. की मदद से ड्राफ़्ट किया गया, फिर मेरे द्वारा एडिट किया गया। प्रोजेक्ट और विचार मेरे हैं।)
FATE, उसके अपने शब्दों में
FATE, यानी Federated AI Technology Enabler, ख़ुद को “दुनिया का पहला औद्योगिक-स्तर का federated learning open source framework, जो उद्यमों और संस्थाओं को डेटा की सुरक्षा और निजता बचाते हुए डेटा पर सहयोग करने में सक्षम बनाता है” कहता है।¹ यह Apache-2.0 है, Linux Foundation द्वारा होस्ट किया जाता है, और WeBank के AI Group ने इसे शुरू किया था।² यह “homomorphic encryption और multi-party computation (MPC) पर आधारित secure computation प्रोटोकॉल लागू करता है”, और वह सब देता है जो किसी deployment को चाहिए: FATE-Flow पक्षों के बीच टास्क शेड्यूल करता है, FATE-Board model की जाँच करता है, FATE-Serving उन्हें परोसता है, KubeFATE उसे Kubernetes पर deploy करता है।
FATE-LLM इसे language model तक बढ़ाता है, parameter-efficient ट्रेनिंग और model IP की रक्षा के लिए FedIPR नाम की एक विधि के साथ।³ उसकी एक विधि, FedMKT, क्लाइंट पर मौजूद छोटे model और सर्वर पर मौजूद बड़े model के बीच ज्ञान को दोनों तरफ़ ले जाती है।⁴ यह वही विचार है जिसके बारे में मैं पहले लिख चुका हूँ, कि बुद्धिमत्ता का विकेंद्रीकरण पूरे समुदाय के लिए विकास का केंद्रीकरण करता है, जो किसी और के कोडबेस में दिख रहा है। WeBank का नाम शोध में भी चलता रहता है: उस 2019 के सर्वे पर जिसने horizontal, vertical और transfer federated learning को परिभाषित किया,⁵ 2021 के JMLR पेपर पर,⁶ और FATE-LLM और FedMKT पेपरों पर।⁴,⁷
सार एक पंक्ति में: model डेटा के पास जाता है, और डेटा वहीं रहता है जहाँ वह है। README किसी अपनाने वाले का नाम नहीं लेता, इसलिए मैं भी नहीं लूँगा। इस पोस्ट में “मुख्यधारा” एक पूर्वधारणा है, कोई रिपोर्ट नहीं।
अगर यह आम बात हो जाए तो क्या बदलता है
1. डेटा ख़रीदा जाना बंद होकर जोड़ा जाना शुरू होता है। कॉपी को अनकॉपी नहीं किया जा सकता। अगर ट्रेनिंग पक्षों के बीच इस तरह होती है कि पंक्तियाँ कहीं नहीं हिलतीं, तो जिस चीज़ का लेन-देन मायने रखता है वह एक कंप्यूटेशन में सीट है, फ़ाइल नहीं, और जिसके पास ऐसा डेटा है जिसे उससे कॉपी नहीं किया जा सकता, उसे मोलभाव की वह हैसियत मिल जाती है जो उसे कभी नहीं मिली थी।
2. “डेटा कभी बाहर नहीं गया” वह दावा बन जाता है जिसे हर किसी को साबित करना है। वित्त, स्वास्थ्य और सार्वजनिक क्षेत्र सबसे पहले आगे बढ़ते हैं, क्योंकि उनके नियम पहले से बताते हैं कि डेटा कहाँ रह सकता है। जब हर कोई यही कहने लगता है, तो ऑडिटर सबूत माँगते हैं, और फ़ेडरेटेड सिस्टम को बाहर से जाँचना मुश्किल है: डेटा कोई नहीं देखता, जाँचने वाला भी नहीं। जो बचता है जाँचने के लिए, वह रसीद है।
3. श्रेय देना आसान नहीं, मुश्किल हो जाता है। यही वह बिंदु है जिसे मैं रेखांकित करूँगा। फ़ेडरेटेड ट्रेनिंग कई पक्षों के योगदान को एक model में मिला देती है, और secure computation हर योगदान को बाक़ियों के लिए अपठनीय रखता है। यही उसका मक़सद है, और यह उसका उलटा है जो एट्रिब्यूशन को चाहिए। मैंने README में एट्रिब्यूशन, रॉयल्टी, श्रेय, भुगतान और सहमति खोजे और इनमें से कुछ नहीं मिला। यह एक अलग काम है, कोई ख़ामी नहीं, लेकिन इसका मतलब है कि फ़ेडरेटेड दुनिया को Attribution Decay डिज़ाइन की एक विशेषता के रूप में विरासत में मिलता है।
4. ऑडिट डेटा से model पर चले जाते हैं। जो डेटासेट कभी एक जगह जमा ही नहीं हुआ, उसे एक जगह जाँचा नहीं जा सकता। जो बचता है वह यह है कि model क्या करता है: क्या वह किसी सुरक्षित छवि को दोहरा सकता है, क्या वह रट लेता है।
5. इंसान अब भी एक पंक्ति है। FATE के पक्ष “उद्यम और संस्थाएँ” हैं, और उसका 2021 का पेपर अपना लक्ष्य “cross-silo data applications” बताता है।⁶ एक बैंक फ़ेडरेशन में शामिल होता है, और उसके ग्राहक बैंक के silo में पंक्तियाँ हैं। फ़ेडरेशन एक संस्था के डेटा को दूसरी से बचाता है। वह इंसान से नहीं पूछता।
Mary, डिवाइस से ऊपर की ओर
Mary का मतलब Mesh, Ambient, Realm, Yoke है, और ये चार शब्द ही डिज़ाइन हैं: बिना केंद्र के नोड्स का एक mesh, डिफ़ॉल्ट रूप से ambient ताकि वह बिना पूछताछ के काम करे, हर व्यक्ति और हर ऐप के लिए एक realm (कोड में, एक lane), और एक yoke जो उन्हें मिलाए बिना जोड़ता है। इसमें AII, Braid, Craft, Ambient और Veil आते हैं।
Mary FATE हो सकती है; वह बस नीचे से शुरू होती है। FATE किसी संस्था के silo से शुरू होता है। Mary एक डिवाइस और उसके मालिक से शुरू होती है, और वहाँ एक साथ तीन काम करती है:
- एक शरणस्थली। डेटा डिवाइस पर निजी तौर पर रखा जाता है, एक secret से सील की गई lane में। यह AII है।
- डेटा के बगल में एक model। हर डिवाइस अपना model सिर्फ़ उसी lane पर ट्रेन करता है, ताकि सीख उतनी ही निजी रहे जितना डेटा। यह एक Braid Thread है।
- ऊपर फ़ेडरेशन। डिवाइस उस चीज़ के ज़रिए जुड़ते हैं जो उनके model ने सीखी, कच्चे डेटा के ज़रिए कभी नहीं, उस secure computation की ओर बनाया गया जिस पर FATE ने सालों बिताए हैं।
बारिश वह है जो बिना छत के डेटा पर गिरती है। फ़र्श से ऊपर की ओर बनी Mary उसका जवाब भी दे सकती है जो फ़ेडरेशन खुला छोड़ देता है: यह किसके डेटा से बना, किसके नियमों के तहत?
हर परत क्या करती है
शरणस्थली किसी भी चीज़ के मिलने से पहले मालिकाना दर्ज करती है। Aggregation पहले मिलाता है और बाद में आसानी से अलग नहीं कर सकता। AII, यानी Ambient Intelligence Index, पहले दर्ज करता है, इसलिए अलग करने को कुछ बचता ही नहीं। नियम है दर्ज करो कि कोई चीज़ किसकी है, इससे पहले कि उसे किसी चीज़ से मिलाया जा सके, और AII में यह यांत्रिक है, कोई नीति नहीं:
- lane secret से आती है। किसी रिकॉर्ड की lane का नाम उसे लिखने वाले ऐप के secret से तय होता है, क्लाइंट की भेजी lane को अनदेखा किया जाता है, और किसी दस्तावेज़ की lane जीवन भर के लिए तय रहती है।
- मर्ज करके मालिकाना छिपाया नहीं जा सकता। graph में बदलाव तब तक अस्वीकार किया जाता है जब तक उसके पीछे का हर दस्तावेज़ एडिट करने वाले की lane में न हो।
- हर अंश अपना मालिक रखता है, और हर turn की क़ीमत लगती है। retrieval हर नतीजे का मालिक और partition साथ रखता है, और Sewn हर जवाब को उन दस्तावेज़ों में बाँटता है जिन्हें उसने उद्धृत किया, उस turn की असली token लागत के हिसाब से, एक वॉलेट में।
Ambient, Craft और Veil सब इसी में दर्ज होते हैं, इसलिए श्रेय की कड़ी पहली लिखावट से ही शुरू हो जाती है।
on-device model weights को मिलाता नहीं। फ़ेडरेटेड ट्रेनिंग पूछती है कि योगदानों को उजागर किए बिना कैसे मिलाया जाए। Braid पूछता है कि क्या उन्हें मिलाना ज़रूरी है भी। उसका commons एक पहले से ट्रेन किया हुआ Mamba2 है जिसे हर पक्ष साझा करता है और कोई ट्रेन नहीं करता। हर Thread अपना model है, जो लेखन के एक ही संग्रह (उसी डिवाइस पर एक AII lane) के बगल में ट्रेन होता है और कभी किसी दूसरे Thread के weights में नहीं मिलाया जाता। इसके बजाय उन्हें inference पर मिलाया जाता है, और हर token के लिए Braid बताता है कि हर धागे ने कितना दिया: ऐसे हिस्से जिनका जोड़ 1 होता है, हर एक अपने ही Thread में किसी जगह से उद्धृत। इसकी क़ीमत: सटीक श्रेय, लेकिन कोई एक मर्ज किया हुआ model नहीं। जिसे श्रेय देना होगा, उसे मत मिलाओ। सबूत छोटा है: 19 अक्टूबर को, 13 करोड़ parameters पर और 40 दस्तावेज़ों वाले Threads के साथ, एक ट्रेन किया हुआ Thread हर बार उस लेखन को पहचान लेता था जिसे उसने पढ़ा था और उसे भी जिसे नहीं पढ़ा था। यह frontier model के सामने खिलौना है, और मैं इसे पहले ही कहना पसंद करूँगा। लंबी कहानी Braid सीरीज़ में है।
शरणस्थली इंसान को एक सीट देती है। Ambient आपके साथ पढ़ता है और जो आपने पढ़ा है उसी से जवाब देता है, किसी व्यक्ति का डेटा उसके अपने डिवाइस पर उसकी अपनी lane में जुटाते हुए। अगर इंसान को एक पक्ष बनना है, तो वही इंटरफ़ेस है जिसमें वह बैठेगा। Craft, एक कोडिंग एजेंट जो आपकी मशीन से कभी बाहर नहीं जाता, किसी कंपनी के सबसे सुरक्षित डेटासेट, उसके सोर्स, के लिए वही आकार है: model पहले से डेटा के पास आता है।
यह model की जाँच करता है, डेटा की नहीं। Veil किसी इमेज generator को बीच में रोक देता है जब वह किसी सुरक्षित फ़ोटो की नक़ल करने लगता है, और बताता है कि फ़ोटो किसकी थी। भीतर से, वह पूछता है कि क्या कोई model किसी छवि को बनाने में सक्षम है, उस पर ट्रेन हुआ हो या नहीं। जब ऑडिट model पर चले जाते हैं, तो वह जाँच जिसे ट्रेनिंग सेट की कभी ज़रूरत नहीं थी, वही है जो काम करती रहती है। लंबा संस्करण Scorpion और Veil में है।
FATE कहाँ बैठता है
Mary में अभी secure computation नहीं है, और मैं FATE वाला दोबारा नहीं बनाऊँगा: वह सालों की क्रिप्टोग्राफ़ी है जो FATE के पास पहले से है। Mary की सबसे ऊपरी परत वह जगह है जहाँ वह मशीनरी जुड़ती है।
ठोस रेखाएँ आज मौजूद हैं। बिंदीदार वे जोड़ हैं जो मैंने बनाए या परखे नहीं हैं। ग्रे डिब्बा किसी और का काम है।
अगर कल कोई फ़ेडरेटेड stack आ जाए, तो Mary उसके नीचे बैठेगी: हर पक्ष पर एक शरणस्थली और एक Thread, फ़ेडरेटेड परत जो भी पैदा करे उस पर Braid का हिसाब, यह देखने के लिए कि श्रेय बचता है या नहीं, और जो model निकले उस पर Veil जैसा एक परीक्षण, क्योंकि जिस डेटा से वह आया उसे कोई जाँच नहीं सकता।
पहला प्रयोग एक ख़ास प्रयोग है। किसी Thread का head पहले से Braid का निजी, हर पक्ष वाला हिस्सा है, जो साझा tail से अलग है। क्या FATE-LLM की parameter-efficient मशीनरी उस head को एक फ़ेडरेटेड राउंड में ले जा सकती है, यह मैंने परखा नहीं है। नतीजा जो भी हो, मैं उसे प्रकाशित करूँगा।
क्या नहीं बना है
रसीदों के बारे में ऐसी पोस्ट, जो अपनी ही कमियाँ छिपा ले, एक मज़ाक होती।
- इसमें कोई secure computation नहीं है। AII या Braid में कहीं भी न homomorphic encryption है, न multi-party computation, न secure aggregation, न differential privacy। यह FATE की ताक़त है, और इसीलिए Mary की सबसे ऊपरी परत बिंदीदार खींची गई है।
- यह एक ही मशीन है। Braid का cluster एक ही प्रोसेस में चलता है, और AII loopback पर एक Mac है। एक व्यक्ति के index को दूसरे के index से जोड़ना एक डिज़ाइन है, फ़ीचर नहीं।
- FATE के मुक़ाबले कुछ भी बेंचमार्क नहीं हुआ है। ऊपर का हर “क्या यह एक राउंड में जा सकता है?” एक सवाल है, नतीजा नहीं।
- STTP एक प्रस्ताव है, और MaryOS सार्वजनिक नहीं है। इनमें से कुछ भी ऐसा नहीं जिसे आप install कर सकें।
यह किधर जा रहा है
आज हर रेल किसी की अपनी परिपाटी है। aii-record/1 मेरा है, Braid का session log मेरा है, FATE का अपना है, और इनमें से कोई एक-दूसरे से बात नहीं करता। रेलवे तभी मायने रखती है जब वह स्थायी हो, और उसे स्थायी बनाने वाली चीज़ एक प्रोटोकॉल है।
वह है STTP, Semantic Token Transfer Protocol, और वह कभी शब्दों के बारे में नहीं था। जो कुछ भी कोई डिवाइस बनाता है (एक वाक्य, एक फ़ंक्शन, किसी फ़ोटोग्राफ़ के RGB मान) उसी पल tokens के रूप में तैयार होता है, peer to peer उसे भेजा जाता है जिसके पास वह जाना है, और पहुँचते ही प्राप्त करने वाले model में पचा लिया जाता है। यह वही समस्या है जिसे FATE हल करता है, पर निरंतर और डेटा के प्रकार से बेपरवाह, और यह वही खुला सवाल विरासत में पाता है: कई मशीनें योगदान कैसे दें, बिना उनमें से किसी के, या किसी सर्वर के, एक-दूसरे के कच्चे मान देखे? FATE इसका जवाब क्रिप्टोग्राफ़ी से देता है, और IETF का Privacy Preserving Measurement काम वह सबसे क़रीबी चीज़ है जो मुझे जवाब के रूप में मिली। Mary वह हिस्सा जोड़ती है जो इनमें से कोई नहीं रखता: हर token अपनी lane और अपनी रसीद रखता है, इसलिए पचने के बाद भी श्रेय बचा रहता है। MaryOS, वह Linux variant जो मैं बना रहा हूँ, वह जगह है जहाँ मैं ऐसे डिवाइस को परख रहा हूँ जो पहले बूट से ही अपनी lane के साथ आता है।
STTP वह फ़ेडरेशन परत है जिसमें Mary बढ़ेगी: एक ऐसा गेज जिस पर हर मशीन सहमत हो, ताकि शरणस्थली, model और पाइप एक ही पटरी पर चलें। हर पक्ष पर एक lane, हर token पर एक रसीद और उनके बीच एक प्रोटोकॉल डेटा को ऐसी चीज़ से, जो छीनी जाती है, ऐसी चीज़ बना देते हैं जो जोड़ी जाती है, जिसे श्रेय मिलता है और जिसके पैसे दिए जाते हैं। Sewn पहले से जवाब में हर दस्तावेज़ के हिस्से की क़ीमत लगाता है, जो बाज़ार का सबसे छोटा हिस्सा है: एक क़ीमत, एक पाने वाला और एक रिकॉर्ड। मैं पटरी बिछा रहा हूँ, शहरों की भविष्यवाणी नहीं कर रहा।
P.S.
FATE के ब्योरे 4 नवंबर 2026 को उसके README और FATE-LLM repository से, Linux Foundation की घोषणा से, और ऊपर उद्धृत पेपरों के पहले पन्नों से लिए गए हैं, और repositories अक्सर बदलती रहती हैं। Mary के ब्योरे उसी तारीख़ को AII, Braid और Veil repositories, Mary repository (जो अब निजी कर दी गई है) और प्रोडक्ट पेजों से लिए गए हैं, और MaryOS का वर्णन सिर्फ़ उतना ही है जितना Mary repository करती है। “FATE कहाँ बैठता है” के तहत सब कुछ एक योजना है, फ़ीचर नहीं, और STTP का टेक्स्ट से आगे किसी भी तरह के डेटा तक पहुँचना भी वैसा ही है: वह एक दिशा है, नतीजा नहीं।