Architecture ML
VisionAX
Un texte court, sur ce qui se passe quand l’arbre d’accessibilité s’éteint.
Tout ce que j’ai écrit jusqu’ici sur Mary repose sur un seul engagement : l’arbre d’accessibilité est la vérité de référence. AX vous donne une structure qu’une application a déjà accepté d’exposer — rôles, cadres, hiérarchie parcourable — sans jamais prendre de capture de l’écran de l’utilisateur. C’est toute la posture de confidentialité en une phrase, et c’est la raison pour laquelle l’usage de l’ordinateur peut être lisible au lieu d’une boîte noire qui devine à partir de pixels.
L’engagement tient jusqu’à ce qu’une application refuse de participer. Une surface Electron dessinée sur canevas, un élément vidéo sous DRM, une pile de contrôles à rendu personnalisé — AX rapporte un unique nœud opaque et rien en dessous. À ce stade, les choix honnêtes sont d’échouer, ou de se replier sur la vision. Et un repli sur la vision qui appelle un modèle dans le cloud ou un service de scraping de captures d’écran romprait silencieusement la promesse exacte que fait le reste de l’architecture. Le repli doit donc gagner la même confiance qu’AX possède déjà, pas la dépenser.
C’est cela, VisionAX : un moteur OpenCV isolé, sous GPL-3.0, pour macOS — un cœur C++ derrière un en-tête C, un visage Swift par-dessus, et une application de banc d’essai pour voir ce qu’il perçoit. Il est livré comme son propre paquet SwiftPM plutôt que de vivre à l’intérieur de Mary, et Mary en dépend de la manière ordinaire dont une bibliothèque se consomme, pas de la manière dont un repli embarqué est introduit en contrebande.
La même forme qu’AX, à dessein
La décision de conception qui compte plus que le pipeline de vision par ordinateur en dessous : VisionAX n’invente pas de nouveau format d’arbre pour l’interface détectée. Il publie des régions dans exactement la forme de l’arbre de valeurs AXNodeSnapshot / AXWindowSnapshot de Mary. Un cadre détecté et un nœud d’accessibilité parcouru sont interchangeables pour tout ce qui se trouve en aval — même forme JSON, même code de parcours, même consommateur. La vision se dégrade en douceur vers l’interface qu’AX avait déjà définie, au lieu de devenir une seconde surface d’API sur laquelle la logique d’usage de l’ordinateur devrait bifurquer.
Le pipeline lui-même est sans éclat par conception : détection de contours de Canny sur une capture d’écran, extraction de contours, une passe de filtrage et de déduplication pour fondre les bords intérieur et extérieur d’un rectangle tracé en une seule boîte, puis un constructeur d’arbre qui imbrique chaque région sous la plus petite boîte conservée qui la contient — la même logique d’inclusion qu’AX utilise pour imbriquer un contrôle dans un groupe dans une fenêtre.
Voilà le banc d’essai, en cours d’exécution, sur une page web ordinaire. Chaque boîte orange est un VXRegion — l’arbre à gauche est la même hiérarchie AXWindow / nœuds que Mary sait déjà parcourir, simplement peuplée par des pixels plutôt que par l’implémentation AX propre à une application. 245 nœuds sur 945 contours bruts, cinq millisecondes, le tout sur l’appareil.
Pas encore de libellés, et c’est délibéré
Chaque nœud détecté est livré avec le rôle VXRegion, la catégorie .other et label: nil. Pas d’OCR, pas de classifieur, pas de supposition sur ce qu’une boîte est — seulement qu’une frontière existe là. C’est une affirmation plus étroite que celle d’un vrai nœud AX, et je préfère livrer l’affirmation vraie plus étroite qu’un libellé de substitution qui se lit comme confiant et reste indiscernable d’un libellé correct jusqu’à ce que quelque chose casse. L’étiquetage est une vraie étape, et elle viendra plus tard, comme sa propre jointure.
L’engagement que cela préserve
Rien dans ce repli ne change la frontière de confiance. L’entrée est une capture d’écran que la machine possède déjà ; la sortie est un calcul de boîtes englobantes effectué par un moteur inspectable tournant dans le processus. Aucun appel réseau, aucun modèle tiers, aucune image ne quitte l’appareil pour récupérer un arbre. Quand AX est disponible, Mary utilise AX. Quand il ne l’est pas, le repli est une vision qui se comporte comme AX — lisible, locale et bâtie sur la même forme — plutôt qu’une vision qui se comporte comme de la surveillance. L’usage de l’ordinateur devrait perdre en capacité avant de perdre en vie privée.