ML आर्किटेक्चर

VisionAX

3 सितंबर 2026rao-studios/VisionAXcomputer-useकंप्यूटर विज़नopencvसुगम्यताmacosनिजता

एक छोटा लेख, इस बारे में कि एक्सेसिबिलिटी ट्री के अँधेरे में चले जाने पर क्या होता है।

Mary के बारे में मैंने अब तक जो कुछ लिखा है, वह एक प्रतिबद्धता पर टिका है: एक्सेसिबिलिटी ट्री ground truth है। AX आपको वह ढाँचा देता है जिसे उजागर करने पर कोई ऐप पहले ही राज़ी हो चुका है — रोल, फ़्रेम, चलने लायक़ पदानुक्रम — और उपयोगकर्ता की स्क्रीन का स्क्रीनशॉट कभी लेना नहीं पड़ता। निजता का पूरा रुख़ एक वाक्य में यही है, और इसी वजह से कंप्यूटर यूज़ पिक्सेल पर अंदाज़ा लगाते ब्लैक बॉक्स की जगह समझने-योग्य हो सकता है।

प्रतिबद्धता तब तक टिकती है जब तक कोई ऐप शामिल होने से मना न कर दे। कैनवास पर बनी Electron सतह, DRM वाला वीडियो एलिमेंट, कस्टम-रेंडर्ड कंट्रोल स्टैक — AX एक अकेला अपारदर्शी नोड बताता है और उसके नीचे कुछ नहीं। उस बिंदु पर ईमानदार विकल्प दो हैं: नाकाम हो जाओ, या विज़न पर लौट आओ। और जो विज़न फ़ॉलबैक किसी क्लाउड मॉडल या स्क्रीनशॉट-खँगालने वाली सेवा को फ़ोन करे, वह बाक़ी आर्किटेक्चर के किए ठीक उसी वादे को चुपचाप तोड़ देगा। इसलिए फ़ॉलबैक को वही भरोसा कमाना होगा जो AX के पास पहले से है, उसे ख़र्च नहीं करना होगा।

VisionAX यही है: macOS के लिए एक अलग-थलग, GPL-3.0 OpenCV इंजन — C हेडर के पीछे C++ कोर, ऊपर Swift का चेहरा, और यह देखने के लिए एक बेंच ऐप कि वह क्या देखता है। यह अपने ही SwiftPM पैकेज के रूप में शिप होता है, Mary के भीतर नहीं रहता, और Mary उस पर उसी साधारण तरीक़े से निर्भर है जिस तरह कोई लाइब्रेरी इस्तेमाल होती है, उस तरह नहीं जिस तरह कोई वेंडर्ड फ़ॉलबैक चुपके से घुसाया जाता है।

AX जैसा ही आकार, जानबूझकर

एक डिज़ाइन फ़ैसला, जो उसके नीचे की CV पाइपलाइन से ज़्यादा मायने रखता है: VisionAX पहचाने गए UI के लिए कोई नया ट्री फ़ॉर्मैट नहीं गढ़ता। वह रीजन्स को ठीक Mary के अपने AXNodeSnapshot / AXWindowSnapshot वैल्यू ट्री के आकार में प्रकाशित करता है। पहचाना गया बॉक्स और चलकर निकाला गया एक्सेसिबिलिटी नोड, आगे की किसी भी चीज़ के लिए आपस में बदले जा सकते हैं — वही JSON आकार, वही ट्रैवर्सल कोड, वही उपभोक्ता। विज़न उस इंटरफ़ेस में शालीनता से घटता है जिसे AX पहले ही परिभाषित कर चुका है, किसी दूसरी API सतह में नहीं बदलता जिस पर कंप्यूटर-यूज़ लॉजिक को शाखाएँ बनानी पड़ें।

पाइपलाइन ख़ुद डिज़ाइन से ही फीकी-सी है: स्क्रीनशॉट पर Canny एज डिटेक्शन, कंटूर एक्सट्रैक्शन, एक फ़िल्टर-और-डीडुप पास जो खींचे गए आयत के भीतरी और बाहरी किनारों को एक बॉक्स में समेट दे, फिर एक ट्री बिल्डर जो हर रीजन को उसे समाने वाले सबसे छोटे रखे गए बॉक्स के नीचे नेस्ट करता है — वही कंटेनमेंट लॉजिक जिससे AX किसी कंट्रोल को ग्रुप के भीतर और ग्रुप को विंडो के भीतर नेस्ट करता है।

यह बेंच है, एक साधारण वेब पेज पर चलते हुए। हर नारंगी बॉक्स एक VXRegion है — बाईं ओर का ट्री वही AXWindow / नोड पदानुक्रम है जिस पर चलना Mary पहले से जानती है, बस उसे किसी ऐप के अपने AX इम्प्लीमेंटेशन की जगह पिक्सेल ने भरा है। 945 कच्चे कंटूर में से 245 नोड, पाँच मिलीसेकंड, पूरी तरह on-device चलते हुए।

अभी कोई लेबल नहीं, और यह जानबूझकर है

हर पहचाना गया नोड रोल VXRegion, श्रेणी .other और label: nil के साथ शिप होता है। कोई OCR नहीं, कोई क्लासिफ़ायर नहीं, यह अंदाज़ा नहीं कि बॉक्स क्या है — सिर्फ़ यह कि वहाँ एक सीमा मौजूद है। यह असली AX नोड के दावे से संकरा दावा है, और मैं कोई प्लेसहोल्डर लेबल शिप करने के बजाय यह संकरा सच्चा दावा शिप करना पसंद करूँगा, जो आत्मविश्वास से भरा पढ़ा जाता है और जब तक कुछ टूट न जाए सही लेबल से अलग नहीं पहचाना जा सकता। लेबलिंग एक असली क़दम है, और वह बाद में आता है, अपनी अलग सीम के रूप में।

वह प्रतिबद्धता जो यह बचाए रखता है

इस फ़ॉलबैक के बारे में कुछ भी भरोसे की सीमा नहीं बदलता। इनपुट वह स्क्रीनशॉट है जो मशीन के पास पहले से है; आउटपुट बाउंडिंग-बॉक्स का गणित है, जो एक जाँचे जा सकने वाले इंजन ने इन-प्रोसेस निकाला। कोई नेटवर्क कॉल नहीं, कोई थर्ड-पार्टी मॉडल नहीं, ट्री वापस पाने के लिए कोई इमेज डिवाइस से बाहर नहीं जाती। जब AX उपलब्ध हो, Mary AX इस्तेमाल करती है। जब न हो, फ़ॉलबैक वह विज़न है जो AX की तरह बरताव करता है — समझने-योग्य, लोकल, और उसी आकार में बना — वह विज़न नहीं जो निगरानी की तरह बरताव करे। कंप्यूटर यूज़ को निजता में घटने से पहले क्षमता में घटना चाहिए।