← Ambient Intelligent Systems

मेश, और स्केल की क़ीमत

भाग I — सर्वर · अध्याय 3 / 9

मई तक Oracle — वह पीयर-टू-पीयर रिट्रीवल मेश, जिसे रिव्यू के समय टाल दिया गया था पर उसके पैटर्न के लिए रखा गया था — का एक असली डिज़ाइन बन चुका था। भाग I में यह सबसे तकनीकी रूप से सुरुचिपूर्ण चीज़ है, और इस किताब के लिए इसके मायने इसलिए हैं कि इसकी एक अनसुलझी समस्या ने मुझे क्या सिखाया।

दो स्तर

अंतर्दृष्टि इस बात पर ग़ौर करने से आई कि इंफ्रास्ट्रक्चर तो पहले से मौजूद था। हर Seer नोड इंडेक्स के समय टैग एम्बेडिंग निकालता है — हर कंटेंट समूह के संक्षिप्त सिमैंटिक सार, जो पहले से स्टोर होते हैं। ये एक रूटिंग संकेत हैं। पीयरों को इन्हें गॉसिप करने दीजिए, और मेश ख़ुद नेविगेट करने लायक़ बन जाता है:

फ़ील्ड नोट — 2026-05-09। "क्वेरी के समय: क्वेरी नोड जाने-पहचाने पीयरों के टैग एम्बेडिंग से टैग समानता निकालता है […] सिर्फ़ टॉप-K सिमैंटिक रूप से सबसे नज़दीकी पीयरों तक रूट करता है — बाक़ी सबको छोड़ देता है। वे पीयर लोकल HNSW सर्च चलाते हैं और उम्मीदवार लौटाते हैं; क्वेरी नोड उन्हें मर्ज और री-रैंक करता है। […] पीयर नेटवर्क ख़ुद एक HNSW की तरह नेविगेट होता है — पीयरों के बीच के स्तर पर सिमैंटिक समानता की ओर ग्रीडी हॉप, और हर पीयर के भीतर लोकल बीम सर्च।"

एक ही एल्गोरिद्म के दो स्तर: पीयरों के बीच एक मोटा नेविगेबल ग्राफ़, हर पीयर के भीतर एक महीन ग्राफ़। क्वेरी को सभी N नोड पर ब्रॉडकास्ट करने के बजाय आप O(K) असली सर्च चलाते हैं, जहाँ K छोटा है।

आरेख
आरेख बन रहा है

गुण लगभग मुफ़्त में जुड़ते गए। टैग एम्बेडिंग निजता की रक्षा करते हैं — पीयर मोटे सिमैंटिक लेबल दिखाते हैं, कच्चे वेक्टर या कंटेंट कभी नहीं। इंडेक्स-समय की लागत शून्य है, क्योंकि टैग पहले से मौजूद हैं। टोपोलॉजी अपने आप संगठित हो जाती है: मिलते-जुलते कंटेंट वाले पीयर सामान्य गॉसिप से जुड़े रहते हैं, और सिमैंटिक रूप से दूर के पीयर एक-दूसरे की रूटिंग तालिकाओं से घिसकर गिर जाते हैं। यहाँ तक कि नाकामी का तरीक़ा भी शालीन है — छूटा हुआ पीयर एक सिमैंटिक रूप से दूर वाला होता है, जिसके दस्तावेज़ वैसे भी उम्मीदवार होने की संभावना कम रखते थे।

एक मामले को छोड़कर, जिसे ऊपर के डायग्राम में जानबूझकर खींचा गया है।

दुर्लभ विषय की समस्या

नाकामी ठीक वहीं उलट जाती है जहाँ रूटिंग कामयाब होती है। आम विषय बख़ूबी रूट होते हैं — सही पीयर के टैग साफ़ तौर पर सबसे नज़दीक होते हैं। लेकिन मान लीजिए मेश में सिर्फ़ एक पीयर ने कभी, मसलन, मंगोलियाई थ्रोट सिंगिंग के बारे में कुछ इंडेक्स किया है — और उसी पीयर ने संगीत सिद्धांत, भाषाविज्ञान, भौतिकी, मानवशास्त्र के दो सौ दस्तावेज़ भी इंडेक्स किए हैं। संबंधित समूह के लिए उसका टैग एम्बेडिंग उस सबका सेंट्रॉइड है। नीश उसमें है, पर औसत होकर अदृश्य हो गया — जबकि मज़बूत, सामान्य संगीत क्लस्टरों वाले तीन दूसरे पीयर ज़्यादा नज़दीक दिखते हैं और रूटिंग की कटऑफ़ जीत जाते हैं। उनसे पूछा जाता है। वे कुछ नहीं लौटाते। जो पीयर जानता है, उससे कभी पूछा ही नहीं जाता।

नोट यह बताता है कि यह वास्तव में कठिन क्यों है, उसके दो हिस्से:

फ़ील्ड नोट — 2026-05-09। "आप 'किसी पीयर के पास यह नहीं है' और 'सही पीयर मौजूद है पर उसका रूटिंग संकेत कमज़ोर है' में फ़र्क़ नहीं कर सकते — दोनों हर जगह कम समानता स्कोर जैसे दिखते हैं। […] टैग एम्बेडिंग सार हैं। सार बनाना विशिष्टता को नष्ट करता है। पीयर ने जितना ज़्यादा इंडेक्स किया हो, उसके टैग एम्बेडिंग उतना ही चौड़े सिमैंटिक सेंट्रॉइड की ओर लौटते हैं, जो दुर्लभ विषय की रूटिंग के लिए ठीक ग़लत संकेत है।"

मैंने मानक जवाबों का ख़ाका खींचा, और हर एक काम करता है और उसकी क़ीमत भी है। शाब्दिक टैग टोकन पर एक स्पार्स इनवर्टेड इंडेक्स, जिसे घने एम्बेडिंग के साथ गॉसिप किया जाए — दुर्लभ टैग साफ़-साफ़ दर्ज होते हैं क्योंकि वे दुर्लभ हैं। अडैप्टिव फ़ैन-आउट — जब सभी टॉप-K स्कोर कम हों, स्कोर वितरण के आकार को दुर्लभ विषय का संकेत मानकर क्वेरी अपने आप चौड़ी कर दो। कॉन्फ़िडेंस-वेटेड मर्जिंग — पीयरों को कैलिब्रेटेड लोकल स्कोर लौटाने दो, ताकि क्वेरी करने वाला "मिल गया" और "सही पीयर तक पहुँचे ही नहीं" में फ़र्क़ कर सके।

तनाव यह था कि ये एक-दूसरे पर चढ़ते जाते हैं: खोज के लिए इनवर्टेड इंडेक्स चाहिए, कवरेज के लिए अडैप्टिव फ़ैन-आउट, और समाप्ति के लिए कॉन्फ़िडेंस स्कोरिंग — तीन प्रोटोकॉल परतें एक ऐसे सिस्टम पर, जिसे कभी-कभार कनेक्टिविटी वाले निजी हार्डवेयर पर चलना था। सो जाने वाले लैपटॉप। NAT के पीछे घरेलू सर्वर। वे मशीनें जिनके मालिक ने ढक्कन बंद कर दिया।

मेश ने क्या सिखाया

उस तनाव के साथ बैठे रहने से प्रोजेक्ट की सबसे असरदार पुनर्व्यवस्था निकली — दुर्लभ विषयों के रीकॉल का हल नहीं, बल्कि सवाल की पदावनति।

मेश मानता है कि दिलचस्प बुद्धि नेटवर्क में रहती है, और नोड का काम उस तक पहुँचना है। लेकिन भाग I में जो कुछ वास्तव में बना था, वह सब दूसरी ओर इशारा करता था। Sinatra एक व्यक्ति का उसके अपने विचारों से रिश्ता सीखता है। पार्टीशन CID आपके विचारों को टिकाऊ पहचान देते हैं। जिस रिट्रीवल को पर्सनलाइज़ करना सार्थक है, वह भारी बहुमत में उस पर है जो आप जानते हैं, जो आपने लिखा और जिसे आपने छुआ। उसके लिए, एक अकेला लोकल नोड — पूरा, निजी, हमेशा उपलब्ध, न फ़ैन-आउट, न गॉसिप, न कॉन्फ़िडेंस थ्रेशोल्ड — मेश का घटिया संस्करण नहीं है। वही प्राथमिक वस्तु है। मेश वह है जो नोड बाद में करते हैं, उन कड़ियों के साथ जिन्हें आपने चुना, ठीक वैसे जैसे Oracle का ट्रस्ट मॉडल हमेशा चाहता था: स्वाभाविक रूप से, सहमति से, और सिर्फ़ वहाँ जहाँ वह पहुँच बढ़ाता है।

इसलिए गुरुत्व-केंद्र हमेशा के लिए डेस्क पर रखी मशीन पर आ गया। रिट्रीवल-गुणवत्ता का काम जारी रहा — रिव्यू का पहला निष्कर्ष यही था — लेकिन आर्किटेक्चर ने किसी नेटवर्क की परिक्रमा करना बंद कर दिया और एक व्यक्ति की परिक्रमा करने लगा।

असिस्टेंट का घर उपयोगकर्ता की मशीन है।

जिससे अगला सवाल उठा: अगर नोड ही प्राथमिक वस्तु है, तो नोड असल में है क्या? मेमोरी को एक शरीर चाहिए था।