Thread एक यूज़र का निजी डेटाबेस है
4 में से भाग 1
Ambient Intelligence Index अपने मूल में एक डेटाबेस है। इसके 3 हिस्से हैं: Sewn, Thread, Seam। Thread असली डेटाबेस लेयर है, और उसके आसपास Sewn और Seam वह मशीनरी देते हैं जो उसे ऐप्लिकेशन लेयर और दूसरे डेटाबेस से जोड़ती है, और डेटाबेस की सामग्री को संदर्भ की तरह इस्तेमाल करके इन्फ़रेंस के लिए machine learning API को एक जगह समेटती है। सीरीज़ के इस हिस्से में हम Thread पर ध्यान देंगे, और Sewn व Seam को भाग 2, Sewn & Sinatra Personalizes Your A.I. में देखेंगे।
Thread का AII तक का रास्ता
Thread एक तरह का स्टोरेज समाधान होना चाहिए जो डेटा को इस तरह सहेजे कि वह नॉलेज ग्राफ़ और वेक्टर स्टोर रिट्रीवल के लिए तैयार रहे। वेक्टर स्टोर्स से ही Thread की शुरुआत हुई थी। असल में, Thread का इतिहास और लंबा है: यह Seer से शुरू हुआ था। मैंने अक्टूबर-नवंबर 2025 में शुरुआत की, जब मैं रिट्रीवल के साथ जुड़े रॉयल्टी/एट्रिब्यूशन के मसले को हल करने निकला था। ऐसा करते हुए मैं जनरेट किए गए जवाबों को समग्र रूप से बेहतर बनाने की चुनौती भी उठाना चाहता था। दो मुख्य बातें: एक अनंत चैट का विचार, और किसी तरह की सेल्फ़-रीइन्फ़ोर्समेंट लर्निंग के ज़रिए जवाब को यूज़र के अनुरूप ढालना। एक ही पत्थर से कई चिड़ियाँ मारने की चाह का एक और उदाहरण, जो Generative A.I. में 'Fair Use' की ओर रास्ता में दिखता है, जब बात 'fair use' के क़ाबिल language models की हो रही थी।
इस प्रक्रिया में Seer पर्सनलाइज़ेशन की उस गतिशीलता में बदल गया जिसके बारे में मैंने पाया कि वह एक Mistral Medium मॉडल को किसी अत्याधुनिक OpenAI मॉडल जितना क़ीमती बना सकती है। और यह तथ्यों को याद रखने की वजह से नहीं था, क्योंकि उसकी पूर्ति तो इस बात से हो रही थी कि मैं Bluesky जैसी सोशल साइटों से डेटा को Thread में कैसे जमा कर रहा था। यह मेरे नोट्स और दूसरे नोड्स के बीच कड़ियाँ जोड़ पाने की उसकी क्षमता की वजह से था।
मैंने Seer को Scaleway पर होस्ट किया था और एक शुरुआती किस्म का HNSW, Hierarchical Navigable Small World, लागू किया था, जो असल में डेटा के वेक्टर निरूपणों को एक ऐसे ग्राफ़ पर रखता है जिस पर चलकर संबंधित टुकड़े आसानी से खोजे जा सकते हैं। यह एक ऐसा डिज़ाइन है जिसे मैं शायद वापस लाऊँ, लेकिन उसे बनाए रखने की कठिनाई ने फ़िलहाल उसे बाहर रखा। फिर भी वह बहुत सीख देने वाला था, इसलिए Thread की मौजूदा स्थिति पर आने से पहले मैं उसके बारे में संक्षेप में बताऊँगा, क्योंकि पूरे विकास-काल में मूल PartitionTable स्टोरेज फ़ॉर्मैट वही बना रहा।
Embeddings टेक्स्ट के वेक्टर निरूपण हैं: हर शब्द या अंश संख्याओं की एक सूची बन जाता है, हर आयाम के लिए एक संख्या। ये सैकड़ों या हज़ारों हो सकते हैं, लेकिन हम अक्सर इन्हें तीन आयामों में, x, y और z में, कल्पित करते हैं, ताकि वह स्पेस हमें दिखाई देने लायक़ बन सके। मैंने NLP से 2016 में शुरुआत की, जब मैं emotion lexicons के साथ काम करके किसी यूज़र के संदेश-इतिहास और उसके चैटबॉट को टाइप किए गए शब्दों की भावनात्मक लय निकालता था। इसी बीच मुझे GloVe मिला, और उसके साथ यह विचार, जिसका अपने आप में लंबे समय से अध्ययन होता आया है, कि शब्दों की दूसरे शब्दों से मापने लायक़ समानता होती है। अगर आप शब्दों को 3D दुनिया में कल्पित करें, तो आप उसमें घूम सकते हैं और उनके बीच एक असली दूरी पा सकते हैं जिसका कोई मतलब है: एक संख्या जो बताती है कि दो शब्द अर्थ और संबंध में कितने क़रीब हैं।
Text embeddings इस विचार को शब्दों से पूरे अंशों तक ले गए, और HNSW इसी पर बना। जहाँ word vectors एक शब्द को दूसरे से जोड़ते हैं, वहीं एक embedding मॉडल पूरे अंश को उसी तरह के स्पेस में रखता है, और HNSW हर एक को उसके सबसे नज़दीकी पड़ोसियों से जोड़ता है, विषयों के आर-पार और दस्तावेज़ों के आर-पार। एक दस्तावेज़ के भीतर मैंने पार्टीशन जिस तरह बनाए थे, उसकी वजह से वह एक दस्तावेज़ का कोई पार्टीशन लेकर उसे सीधे दूसरे दस्तावेज़ के पार्टीशनों से जोड़ सकता था।
इसने मुझे साझा विचारों की यह कल्पना दी, जहाँ 2 निबंध बिल्कुल अलग विषयों पर हो सकते हैं, लेकिन दोनों का एक अनुच्छेद या वाक्यांश आपस में जुड़ा होता है, एक चलने लायक़ छोटी दुनिया में एक-दूसरे से जुड़ा हुआ। असली ताक़त यह देखने में थी कि बिल्कुल अलग पोस्टों में साझा नज़रिए कैसे मौजूद हो सकते हैं। आख़िरकार दो अलग दृष्टिकोणों के बीच एक पुल बनना, जो वही चीज़ खोज लेता है जो दोनों भीतर से चाहते थे।
HNSW की परेशानी यह थी कि नोड्स और उनके दस्तावेज़ों के आते-जाते रहने पर ग्राफ़ को एकरूप कैसे रखा जाए। इन्सर्ट अपनी जगह पर जुड़ जाता था, लेकिन डिलीट सिर्फ़ नोड को चिह्नित करता था: उसका टेक्स्ट और वेक्टर ग्राफ़ में बने रहते थे, लिंक अब भी उसकी ओर इशारा करते रहते थे, जब तक कि कोई compaction पूरी चीज़ को दोबारा न बना दे। मैं चाहता था कि Seer, Thread और AII निजता और सुरक्षा को पहले रखें, इसलिए मैंने HNSW को रिटायर कर दिया। बड़े पैमाने पर विश्वसनीयता, लटके हुए नोड्स और डेटा की एकरूपता को संतुलित करना अपने आप में एक इंजीनियरिंग करतब था, और मैं उसी समय कई और चलते हुए हिस्से बना रहा था। इसे वापस लाना सार्थक है, और सर्वर-विश्वसनीयता के नज़रिए से यह एक दिलचस्प समस्या थी।
मैंने एक स्क्रैपिंग सर्विस बनाई थी जो Bluesky और RSS फ़ीड से जुड़ती थी, हर घंटे पोस्ट खींचती थी, और उन्हें तय सर्विस खातों के तहत, जिन पर Bluesky वग़ैरह के लेबल थे, अपने आप इंडेक्स में दर्ज कर देती थी। जब उन पोस्टों का इस्तेमाल संदर्भ रिट्रीवल में होता, तो उनके खातों को रॉयल्टी का श्रेय मिलता, ताकि रिट्रीवल लेयर पर fair use दिखाया जा सके।
इसी विश्वसनीयता की परत को बनाते हुए मुझे पर्सनलाइज़ेशन का वह विचार मिला जो जादुई लगा। मैं देख सकता था कि एक LLM का जवाब 60% Bluesky से है, उस खाते पर टैप कर सकता था, और जवाब के पीछे की असली Bluesky पोस्टें, असली लोग, देख सकता था। यह ज़िंदगी को सिलने जैसा था: LLM धागों को आपस में सी रहा था, वह सच्चाई का पूरा स्रोत नहीं था। यह A.I. से पैदा होने वाले भ्रम से बचाव जैसा भी लगा। शब्दों के पीछे के असली लोगों को आसानी से समझ में आने वाले ढंग से देखना मुझे एक ऐसी चीज़ दे रहा था जिसे परखा जा सके, बजाय एक ऐसे ब्लैक बॉक्स के जिस पर भरोसा करना पड़े और जो आपको ग़लत रास्ते पर ले जा सकता हो।
एक तरह से, इन खातों को उस चीज़ के योगदानकर्ता के रूप में देखना जिसे LLM सिल रहा था, उस पंक्ति को वज़न देता था जिस पर मैं बार-बार लौटता रहा: “विकेंद्रीकृत बुद्धिमत्ता पूरे समूह के लिए विकास को केंद्रित करती है।” अगर peer-to-peer विचार जुड़ जाएँ तो? अगर कई Seer सर्वर बन सकें और एक-दूसरे से जुड़ सकें तो? यहीं एक पत्थर और कई चिड़ियाँ वाली बात मेरे विकास चक्र में फिर लौट आई। हम न सिर्फ़ रिट्रीवल के ज़रिए एट्रिब्यूशन हल कर सकते थे, बल्कि इस प्रक्रिया में यूज़र्स को यह भी महसूस करा सकते थे कि उनका डेटा सचमुच उनका अपना है। इन सबको बनाए रखने की इंजीनियरिंग बढ़ती जाती, और आर्किटेक्चर को सुसंगत रखने की मेरी क्षमता की परीक्षा लेती, इसलिए बाँटो और जीतो का समय आ गया था। मैंने स्टैक को दो हिस्सों में बाँट दिया: डेटाबेस साफ़ तौर पर अपना अलग प्रोडक्ट था, और सर्विस लेयर भी, जो REST API देती थी, LLM API को बुलाती थी और रिट्रीवल तैयार करती थी।
मैंने अपने पास के एक डेस्कटॉप पर Ubuntu इंस्टॉल किया, Swift को Linux पर MLX के साथ कंपाइल करवाया ताकि मैं on-device embedding मॉडल और सारांश के लिए LLM चला सकूँ, और उस पर एक Thread रखा। मैंने arXiv का पूरा डेटासेट डाउनलोड किया और लेखकों और एंटिटीज़ को निकालने, समूह बनाने और उसे अपने आप Thread में ingest करने के लिए स्क्रिप्ट लिखीं। फिर मैंने Seer को स्थानीय नेटवर्क पर gRPC के ज़रिए Thread से जोड़ा ताकि वह रिट्रीवल सँभाले। इससे यह तरीक़ा व्यवहार्य साबित हुआ: यूज़र्स अपने Threads अपने डेटा के साथ ख़ुद होस्ट करेंगे, और एक मदरशिप सर्वर उन Threads को Ambient जैसे फ़्रंट एंड के लिए आपस में सिल देगा।
मौजूदा स्थिति
अब Thread फिर से मिश्रण में है, Ambient Intelligence Index का हिस्सा बनकर, जो तीनों हिस्सों को संगठित करता है: Sewn, Thread, और Seam (यानी gRPC)। एक सुसंगत स्टैक जो किसी की भी मशीन को अपना निजी डेटा सहेजने और उसे अपने निजी ऐप्लिकेशन को परोसने लायक़ बनाता है, समय के साथ उनकी बातचीत को पर्सनलाइज़ करता है और उनकी मशीन को भविष्य में दूसरों से आसानी से जुड़ने के लिए तैयार करता है। मैं कहना पसंद करता हूँ कि AII एक नई रेलवे लाइन की शुरुआत है और Rao की भूमिका Union Pacific बनाने की है।
आज Thread एंटिटीज़ और संबंधों का एक नॉलेज ग्राफ़ है, जो हर पार्टीशन के लिए एक कंप्रेस्ड वेक्टर के बगल में रखा जाता है। HNSW फ़िलहाल रिटायर है, इसलिए खोजने के दो तरीक़े हैं। एक similarity search किसी क्वेरी की तुलना यूज़र के अपने दस्तावेज़ों के पार्टीशनों से करती है। एक नॉलेज-ग्राफ़ क्वेरी एंटिटीज़ और संबंधों का मिलान करती है और ग्राफ़ पर चलती है, इसलिए वह क्या लौटाएगी यह दस्तावेज़ स्तर पर सेट की गई एंटिटीज़ तय करती हैं, कोई स्कोर नहीं। यह इसलिए मायने रखता है कि एक यूज़र के पास लाखों पार्टीशन हो सकते हैं: ग्राफ़ उन्हें दस्तावेज़ों के एक सेट तक सीमित करता है, और वेक्टर सर्च सिर्फ़ उसी सेट पर चलती है।
Groups और tags इसे और सीमित करते हैं। एक group फ़ोल्डर जैसा है, और हर दस्तावेज़ किसी एक में रखा जाता है। Tags वे लेबल हैं जो एक दस्तावेज़ पर कई हो सकते हैं, और हर एक ग्राफ़ में एक एंटिटी के रूप में दर्ज होता है, इसलिए क्वेरी में किसी tag का नाम लेने से उसके दस्तावेज़ ग्राफ़ के ज़रिए मिल जाते हैं। यूज़र groups चुन सकता है, tags और एंटिटीज़ के नाम ले सकता है, और जो बचे उस पर वेक्टर सर्च चलाकर मिलते-जुलते विचार खोज सकता है। इससे उसके अनुरूप ढली LLM रिक्वेस्ट के लिए संदर्भ बनता है, या बस कोई याद ताज़ा होती है: यूज़र को अतीत का कोई ऐसा नोट याद दिलाना जो आज फिर प्रासंगिक हो गया है, जो Ambient के प्राथमिक इस्तेमालों में से एक है। एक तरह से, एंटिटीज़ और tags आपस में बदले जा सकने वाले विचार हैं।
व्यवहार में, tags ने उस काम का बड़ा हिस्सा सँभाल लिया है जिसके लिए groups थे, क्योंकि एक दस्तावेज़ पर कई tags हो सकते हैं और ग्राफ़ उन्हें नाम से ढूँढ लेता है, लेकिन दोनों रखे गए हैं: group अब भी वह एक जगह है जहाँ दस्तावेज़ रखा जाता है, और खोज उसका सीधे नाम ले सकती है। शुरुआत में groups का आधार यह था कि यूज़र या मालिक के लिए एक समेकित जगह बने जहाँ वह बता सके कि कुछ उपलब्ध रहे या प्रतिबंधित, ताकि जब कोई दूसरा यूज़र उस यूज़र से संदर्भ माँगे, तो वह बता सके कि किन दस्तावेज़ों में खोजना ठीक है और किनमें नहीं। यह निजता की जड़ों वाली सुविधा अब भी बनी हुई है, और Ambient जल्द ही इसे UI में दिखाएगा।
PartitionIndex
पार्टीशन इंडेक्स दस्तावेज़ का कोड में निरूपण है। मेरे हिसाब से यही Thread के आविष्कार के पीछे की मुख्य आधारशिला है, और वही है जिससे खिलकर वह बनता है जिसे Sewn, Thread और Seam, AII के ज़रिए व्यक्त करते हैं। ज़िंदगी में हमेशा पहेली का वह 1 छोटा टुकड़ा होता है जो असल में बड़ी तस्वीर को गाने लायक़ बना देता है, और PartitionIndex अपने Quantizer के साथ बोल लिखने में मदद करता है।
इसकी शुरुआत Computational Photography से हुई, और इससे कि तस्वीरों पर फ़िल्टर कैसे लगाए जाते हैं ताकि नए रूप बनें। वही फ़िल्टर जो आप Instagram या दूसरे प्लेटफ़ॉर्म पर इस्तेमाल करते हैं। पुराने दिनों में VSCO हुआ करता था। lookup table किसी चीज़ का किसी दूसरी चीज़ में सीधा अनुवाद है। एक तस्वीर को 1000 शब्दों का शाब्दिक रूप माना जा सकता है, संख्याओं का एक ग्रिड जो RGB मान या पिक्सेल दर्शाता है, यानी असली रंग संख्याओं के रूप में। जब ऊपर से lookup table लगाई जाती है, तो वह हर पिक्सेल को किसी दूसरी मंज़िल में बदल देती है, और एक संपादित, फ़िल्टर किया हुआ नतीजा बनता है। मैं एक पिन बोर्ड की कल्पना करना पसंद करता हूँ, जहाँ बोर्ड पर हर पिन एक पार्टीशन की एक अवधारणा या विचार को दर्शाता है जिसे प्रभावी ढंग से रिट्रीव करने के लिए हमें उठाना है। पिन की ऊँचाई दूरी की उस अवधारणा और शब्दों के बीच की समानता से उसके रिश्ते को दर्शाती है जिसका ज़िक्र मैंने इस निबंध में पहले किया था।
मौजूदा कार्यान्वयन से पहले, और एक ऐसे विचार के रूप में जो जल्द ही पूरा होने के लिए लौटेगा, हर यूज़र के Thread में असल में उसकी पूरी पर्सनलाइज़ेशन लेयर का एक पिन बोर्ड निरूपण था: एक बड़ी टेबल जो उनके Thread में जो कुछ भी सहेजा है उसका वर्णन करती है, हर दस्तावेज़ के लिए एक अलग टेबल के बजाय। यहीं LUTs की कार्यकुशलता सामने आती है: क्वेरी से बनी होने पर, वे अप्रासंगिक पार्टीशनों को तेज़ी से मास्क कर सकती हैं और प्रासंगिक चीज़ें निकाल सकती हैं, तेज़ O(1) लुकअप के लिए चीज़ों को “काटकर अलग” करते हुए। इस स्थिति में नॉलेज ग्राफ़ का रास्ता शायद ज़रूरी भी न हो, जब तक कि एंटिटीज़/tags/groups के पिन बोर्ड बनाने का कोई प्रभावी तरीक़ा पूरे डेटाबेस के लिए एक पिन बोर्ड से बेहतर साबित न हो। इसलिए यह फ़िलहाल R&D में ही रहेगा, और आख़िर में उस provisional patent का प्रमाण बनेगा जो मैंने दस्तावेज़ स्टोरेज में इस तरीक़े के लिए दाख़िल किया है, उन AI-Native इंजीनियरों के लिए जो पहली बार macOS और iOS माहौल में आ रहे हैं।
लेकिन इन जमा किए गए दस्तावेज़ों को पिन बोर्ड के रूपक के अनुकूल बनाने के लिए, हमें उन embedding वेक्टरों को ट्रेन करना होगा जो दस्तावेज़ और उसके पार्टीशनों का निरूपण करते हैं। उन्हें एक codebook में ट्रेन करना। एक codebook जो 2-आयामी array की हर पंक्ति के लिए पार्टीशन की बड़ी embedding की स्थिति का बदला हुआ निरूपण है।
फ़िलहाल codebook हर दस्तावेज़ के लिए अरबों प्रविष्टियाँ रख सकता है, इसलिए अगर कोई सीधे कोड में देखे तो यह थोड़ा अकुशल लगता है। लेकिन ऐसा इसलिए है कि मूल इरादा यह था कि वह सिर्फ़ 1 दस्तावेज़ की जगह यूज़र के पूरे जीवनकाल के सभी दस्तावेज़ों का प्रतिनिधित्व करे, इसलिए यहाँ से वह संभावित रूप से 2 रास्ते ले सकता है। या तो ingest के समय आकार की सीमा घटाकर दस्तावेज़ की ठीक-ठीक ज़रूरत के बराबर कर दी जाए, जो कठिन है, क्योंकि तब दस्तावेज़ की id में बदलाव की गुंजाइश बँध जाती है: नए संपादनों को codebook का आकार गतिशील रूप से अपडेट करना होगा, जो महँगा हो सकता है, और कंप्रेस्ड embedding वाले तरीक़े के लिए पूरे retrain की क़ीमत चुकानी पड़ सकती है। और कंप्रेस्ड embedding वाले तरीक़े का फ़ायदा यह है कि similarity search के लिए हज़ारों 1024-आयामी embeddings को हर समय मशीन की मेमोरी में रखने की ज़रूरत नहीं पड़ती। 16 UInt16 कोड, 32 बाइट, उनके 384 नहीं (जो Seer के HNSW वाले दिनों में था)। जो तब भी 1,024-d वेक्टर नहीं था, क्योंकि उसे 64 संख्याओं के 16 टुकड़ों में काटा जाता है, और हर टुकड़ा एक UInt16 रखता है जो उसके सबसे नज़दीकी खाँचे का नाम बताता है।
आख़िर में, एक यूज़र के पास यह निजी डेटाबेस होने लगता है जो उसका डेटा उसकी अपनी मशीन पर रखता है, पर्सनलाइज़ेशन के लिए तैयार, और साथ ही on-device मॉडल चलाकर एंटिटीज़ और संबंध तुरंत बनाता है। उनकी ज़िंदगी की कड़ियाँ जोड़ता हुआ जो एक Macintosh से अंकुरित हुईं। उनके लिए ऐसी खोज संभव करता हुआ जिससे वे अतीत में भूली हुई चीज़ें ढूँढ सकें, या वर्तमान की चीज़ों को अलग नज़रिए से देख सकें। यही डेटाबेस की ताक़त है: यह सिर्फ़ स्टोरेज नहीं है; यह उससे बढ़कर है। कभी-कभी यह किसी की पूरी ज़िंदगी हो सकती है जो एक फ़ोल्डर में सिमट गई हो। एक पूरी ज़िंदगी जिस तक सिर्फ़ आपकी पहुँच होनी चाहिए और जिसे सिर्फ़ आपको पढ़ने की इजाज़त होनी चाहिए। Rao का यही मक़सद है। मेरी यही भूमिका है।
P.S.
यह लिखते समय मैं इस गाने के बारे में सोच रहा था, इसलिए मैं इसे सीरीज़ के इस हिस्से की थीम बना रहा हूँ।
निजता इसलिए अहम नहीं है कि लोग कुछ छिपाने की कोशिश कर रहे हैं। बल्कि इसलिए कि कुछ चीज़ें सिर्फ़ हमारी आँखों के देखने और याद रखने के लिए होती हैं। और उन चीज़ों से जो प्रेरणा और हौसला खिलता है, उसकी क़ीमत घट जाती है जब अनचाही आँखें उन चीज़ों को देखती हैं। यह अपने ढंग से अमानवीय है। Rao का लक्ष्य है कि AII के ज़रिए यह किसी और के साथ कभी न हो।