भविष्य की दृष्टि
Seer का Mary तक का सफ़र
इस साल 16 अगस्त को मैंने कई निबंध डाले, इस साल के मेरे सारे काम के सारांश, जो मेरे अपने नोट्स और कोडबेस से A.I. की मदद से ड्राफ़्ट किए गए थे। उनमें से ज़्यादातर Ambient Intelligent Systems में समेटा गया। मैंने उन्हें इस तरह इसलिए ड्राफ़्ट किया कि समय और आराम बचे, जबकि मैं सिस्टम बनाता रहूँ और साथ-साथ उनका आर्किटेक्चर मन में गढ़ता रहूँ। A.I. की यह एक अच्छी बात है, बशर्ते आप उसका दिया हुआ एडिट करें — और मैं अब भी एडिट कर रहा हूँ, क्योंकि कभी-कभी मुझे एडिटर बनना पसंद है। हालाँकि, कभी-कभी मुझे उसका गद्य पसंद भी आता है — Ambient Intelligent Systems काफ़ी काव्यात्मक बन गया। वह एक यात्रा जैसा लगा, और उसमें जो भावना गई थी वह दर्ज हुई। लेकिन मैं सचमुच तकनीकी होना चाहता हूँ; वरना यह बताना काफ़ी मुश्किल है कि सालों की सीख मेरे बनाए MaryOS में कैसे जमा होकर पहुँची। Mary अनुभवों का वह निचोड़ है जो अत्यधिक सावधानी से एक समाधान में समाया है। एक प्रोजेक्ट जिसे मैं साथ-साथ सहारा देने की योजना रखता हूँ, जबकि मैं Gita's Ballad पर काम करता हूँ, जो अब एक निजी repository में है। एक प्रोजेक्ट जिसे मैं ख़ुद को बहुत लंबे समय तक सँभालते हुए देखता हूँ।
शुरुआत Seer से हुई थी। मैं large language models में इस्तेमाल हुई लिखित रचनाओं की रॉयल्टी की समस्या से निपटना चाहता था। मैंने शुरू में डेवलपमेंट को ऊँचे स्तर पर लिया, यह देखने के लिए कि क्या विचार गहरे उतरने के लिए समर्थन जुटा सकता है। जब कोई प्रोजेक्ट बाक़ी सब के साथ चल रहा हो तो गहरे उतरना मुश्किल होता है, लेकिन अंत में MaryOS का सब कुछ एक साथ जोड़ देना मुझे इतना सुकून दे गया है कि अब इस प्रोजेक्ट के साथ अपने इरादों के बारे में लिखना सुखद है।
Seer को एक embedding-संचालित डेटाबेस टूल होना था जो दस्तावेज़, निजी दस्तावेज़, बड़े पैमाने पर ingest करता है ताकि LLM के आउटपुट को यूज़र के हिसाब से पर्सनलाइज़ किया जा सके, और साथ ही similarity रणनीतियों से यह एक सरल magnitude तुलना करता है कि कौन सा context retrieve हुआ और generate हुए आउटपुट से उसकी क्या तुलना है। यह एक मज़बूत समाधान नहीं है, token prediction से पहले model परत पर नहीं, लेकिन बात साबित करने के लिए काफ़ी था। अब मैं Mary के साथ token prediction परत तक पहुँचना चाहता हूँ, और भविष्य में उसके बारे में लिखने की आशा करता हूँ, और इस बारे में भी कि मैं predictions पर उनका provenance कैसे watermark करता हूँ।
मैंने Seer के इर्द-गिर्द अपनी डिज़ाइन सोच को सचमुच निखारने के लिए एक बेस iOS एप्लिकेशन बनाया था। कुल मिलाकर यह सचमुच एक शानदार प्रोजेक्ट था जिसने LLM दौर शुरू होने के बाद से मेरी स्व-निर्देशित शोध यात्रा से मुझे वापस जोड़ा। इसने मुझे वापस लाया और आज इस मुक़ाम तक पहुँचने के लिए धकेला। मैंने अक्टूबर 2025 में शुरू किया, जनवरी से फ़रवरी 2025 तक अपना तरीक़ा तय करने के बाद, और एक साल बाद मुझे पक्का यक़ीन है कि हम generative टेक्नोलॉजी के साथ ठीक कॉपीराइट सिस्टम बना सकते हैं; हमने बस अभी तक कोशिश नहीं की है।
Seer एक Swift-on-Server एप्लिकेशन है जिसमें कई routes हैं, authentication के लिए Supabase का इस्तेमाल है, और वह Scaleway पर होस्ट था। मुख्य घटक वह स्टोरेज समाधान था जो मैंने lookup tables (LUTs) के अपने ज्ञान के आधार पर ख़ुद निकाला था, जिनका इस्तेमाल कलर ग्रेडिंग टेक्नोलॉजी में फ़िल्टर के लिए होता है। जहाँ एक दस्तावेज़ को कई खंडों में बाँटा जा सकता है, और हर खंड का एक embedding vector होता है जो मेमोरी में रखा जाता है, इस तरह संपीड़ित कि पूरा 1024-dimension का vector हमेशा मेमोरी में नहीं रहता — सिर्फ़ 64-dim के टुकड़े रहते हैं — और जब उम्मीदवार मिल जाते हैं, तब जाकर डिस्क पढ़ी जाती है और उससे जुड़ा पूरा टेक्स्ट निकाला जाता है। यह बहुत अच्छा चला। बँटवारा इतना बारीक हो गया कि लगभग जादू जैसा लगा। और कई 64-dim खोजों को वापस सिलकर यह बनाना कि एक असली 1024-dim खोज कैसी दिखती, स्रोत सामग्री के साथ समानता के भरोसे पर खरा उतरा। ख़ासकर जब Bluesky से छोटे पोस्ट या सोशल मीडिया कंटेंट को इकट्ठा किया जा रहा हो।
मैं एक ज़्यादा मज़बूत और कुशल सर्च सिस्टम की ओर झुका, शुरू में HNSW पर काम किया — इन vectors को पड़ोसों में रखने का एक तरीक़ा ताकि मेमोरी में रखी हर चीज़ के पूरे linear scan के बिना पड़ोसी दस्तावेज़ पर कूदा जा सके। ये पड़ोसी ingestion के समय बनाए जाते थे, लेकिन मुझे जल्द एहसास हुआ कि HNSW का रखरखाव बहुत थकाऊ है और डिलीट और इन्सर्ट पर graph दोबारा बनाना महँगा है। जो अपने आप में समस्या नहीं है, लेकिन मैं एक अकेले इंजीनियर के रूप में बड़े पैमाने के एप्लिकेशन के लिए HNSW को सँभालने का बेहतर तरीक़ा बनाने में ज़्यादा समय लगाने से पहले और संभावनाएँ खँगालना चाहता था।
इससे पहले, मेरे मन में हमेशा यह विचार था, “बुद्धिमत्ता का विकेंद्रीकरण पूरे समुदाय के लिए विकास का केंद्रीकरण करता है।” यह मेरी पहली नौकरियों में से एक से भी आता है, जहाँ हमारा नारा था “बड़े दिमाग़, छोटे डिवाइस।” 2023 में मुझे हमेशा लगता था कि भविष्य लाखों छोटे model का है जो अपना विशेष ज्ञान एक एकीकृत समझ में समेटते हैं, और अब मैंने फ़रवरी से मार्च 2026 में उस पर टिके रहने के लिए रास्ता बदलने का फ़ैसला किया।
मैं चाहता था कि इस समाधान का स्टोरेज वाला हिस्सा distributed हो। Seer इनसे retrieval के लिए नोड्स के रूप में जुड़ता है, और न सिर्फ़ क्लाउड में कई यूज़र्स की एक बड़ी navigable दुनिया को सँभालने का तनाव ख़त्म हो जाता है, बल्कि यह पर्सनलाइज़ेशन की ज़मीन की समस्या को उसकी जड़ में हल कर देता है। यूज़र अपने डेटा के मालिक हैं और तय करते हैं कि उसे नेटवर्क के साथ साझा करना है या नहीं। तो फिर Totem तुरंत बाद आया, जिसने कोडबेस को दो सख़्त समूहों में बाँट दिया। Seer सर्वर API परत है जो on-device और LLM API सँभालती है, जबकि स्टोरेज Totem से हल होता है, जो gRPC के ज़रिए totems से जुड़ता और उन्हें खोजता है, ज़रूरत पड़ने पर जवाबों को सीधे सर्वर में stream करता हुआ।
मैं चाहता था कि Totem शुरू से ही एक एक्सटेंडेबल ड्राइव पर रहने का विकल्प हो, इसलिए मैंने एक पुराने कंप्यूटर को Ubuntu 24 होस्ट करने के लिए तैयार किया, Linux पर Swift चलाया, totem खड़ा किया और उसे लोकल IP के ज़रिए अपने MacBook पर होस्ट किए Seer से जुड़वाया। यह शानदार चला, और इसने मॉड्यूलैरिटी, विकेंद्रीकृत सोच, आज़ादी और पर्सनलाइज़ेशन के इस अद्भुत विचार को और पक्का कर दिया। HNSW से knowledge graphs की ओर जाते हुए, इकाई और संबंध की सख़्त बाइंडिंग के इस विचार ने ऐसी सर्च कार्यक्षमता बनाई जो रैंडम नहीं लगी; वह deterministic थी। लेकिन जल्द एक सवाल आया कि इन schemas को हाथ से बदलने के बजाय तुरंत कैसे generate किया जाए।
मेरा लक्ष्य इन सभी तरीक़ों में आगे और गहरे उतरना है, इस शुरुआती लेखन को संशोधित Ambient Intelligent Systems write-up का परिचय और नक़्शा मानते हुए, क्योंकि यात्राओं को दर्ज करना सार्थक है जब तक याद ताज़ा हो। वरना ब्योरे धुँधले पड़ जाते हैं।
तो हाँ, रॉयल्टी शोध से शुरू हुआ, वितरण में बदला, फिर पात्र की तलाश आई। चैट एप्लिकेशन कभी इस दौर का लक्ष्य या अंतिम प्रोडक्ट नहीं लगा। वह मुझे हमेशा एक डेमो जैसा लगा। इतना ही नहीं, 2022 से generative टेक ने मुझे महसूस कराया कि मेरी रचनात्मकता बेकार है, मानो रचने की प्रक्रिया को एक डिब्बे की मशीन ने अपने हाथ में ले लिया हो जिसके भीतर मैं झाँक नहीं सकता, और जो हमारे भविष्य को लेकर बहुत कम सुरक्षा देती है। वह मेरी इंसानियत का प्रतिलोम था, लेकिन A.I. अच्छाई भी लाता है: वह रफ़्तार लाता है, वह समय बचाता है। मैं इन दो हक़ीक़तों के बीच पुल बनाना चाहता था। तो मैंने भूतों, आत्माओं, फ़रिश्तों का यह विचार सोचा जो मेरे रचनात्मक प्रक्रिया से गुज़रने के दौरान मेरे काम को प्रेरणा देने के लिए प्रकट होते हैं। एक समानांतर सहायक, एक पेयर प्रोग्रामर का यह विचार। एक निजी AI ऑपरेटिंग सिस्टम।
फिर आई Bonnie। मुझे “Bonnie & Clyde” का यह विचार पसंद आया, रोमांटिक अर्थ में नहीं, बल्कि साथ मिलकर समस्याएँ सुलझाने की सहयोगी रोशनी में। computer use की समस्या से निपटना, उसके पास यह नाम होने से पहले। यह साबित करना कि human-computer interaction वही था जो मैंने चाहा था। हाथ लगाए बिना YouTube वीडियो पर जा पाना, Apple Music चलाना, जबकि वह समझती थी कि मैं Xcode में कहाँ काम कर रहा हूँ और मुझे चीज़ें खोजने में मदद करती थी।
मेरे लिए कोडिंग करना नहीं, बल्कि सक्रिय रूप से मुझे एकाग्र रखने में मदद करना।
फिर यह चिंगारी आई, जब उसने अचानक Gita's Ballad का ज़िक्र किया। वह उससे जुड़ा था जो मैं देख रहा था, लेकिन उस संदर्भ के भीतर नहीं था।
वही Ambiance थी जिसकी ओर मैं हाथ बढ़ा रहा था। और जल्द ही, वह MaryOS के रूप में रिलीज़ होगा, निखार, kohinoor। वह जो इस विज़न को पूरी तरह एक नए तरीक़े के रूप में आगे ले जाएगा कि हम अपनी मशीनें कैसे चलाते हैं।