ML-Architektur
VisionAX
Ein kurzer Text darüber, was passiert, wenn der Accessibility-Baum dunkel wird.
Alles, was ich bisher über Mary geschrieben habe, ruht auf einer Verpflichtung: Der Accessibility-Baum ist die Ground Truth. AX liefert Struktur, die eine App bereits zur Offenlegung freigegeben hat — Rollen, Frames, eine begehbare Hierarchie —, ohne je einen Screenshot vom Bildschirm des Nutzers zu machen. Das ist die gesamte Datenschutzhaltung in einem Satz, und es ist der Grund, warum Computer Use nachvollziehbar sein kann, statt eine Black Box zu sein, die Pixel errät.
Die Verpflichtung hält, bis eine App sich der Teilnahme verweigert. Eine auf Canvas gezeichnete Electron-Oberfläche, ein DRM-geschütztes Videoelement, ein eigens gerenderter Steuerelemente-Stack — AX meldet einen einzigen undurchsichtigen Knoten und darunter nichts. An diesem Punkt sind die ehrlichen Optionen: scheitern oder auf Vision zurückfallen. Und ein Vision-Fallback, der bei einem Cloud-Modell oder einem Screenshot-Scraping-Dienst anruft, würde genau das Versprechen stillschweigend brechen, das der Rest der Architektur gibt. Also muss sich der Fallback dasselbe Vertrauen verdienen, das AX schon hat, statt es zu verbrauchen.
Das ist VisionAX: eine isolierte, GPL-3.0-lizenzierte OpenCV-Engine für macOS — ein C++-Kern hinter einem C-Header, ein Swift-Gesicht obendrauf und eine Bench-App, um zu sehen, was sie sieht. Sie wird als eigenes SwiftPM-Paket ausgeliefert, statt in Mary zu leben, und Mary hängt davon auf die gewöhnliche Art ab, wie eine Bibliothek konsumiert wird, nicht so, wie ein mitgelieferter Fallback eingeschmuggelt wird.
Absichtlich dieselbe Form wie AX
Die eine Designentscheidung, die mehr zählt als die CV-Pipeline darunter: VisionAX erfindet kein neues Baumformat für erkannte UI. Es veröffentlicht Regionen in exakt der Form von Marys eigenem AXNodeSnapshot / AXWindowSnapshot-Werte-Baum. Eine erkannte Box und ein durchlaufener Accessibility-Knoten sind für alles Nachgelagerte austauschbar — dieselbe JSON-Form, derselbe Traversierungscode, derselbe Verbraucher. Vision degradiert elegant in die Schnittstelle, die AX bereits definiert hat, statt zu einer zweiten API-Oberfläche zu werden, auf die sich die Computer-Use-Logik verzweigen muss.
Die Pipeline selbst ist von Design her unglamourös: Canny-Kantenerkennung über einen Screenshot, Konturextraktion, ein Filter-und-Dedupe-Durchlauf, der die Innen- und Außenkante eines umrandeten Rechtecks zu einer Box zusammenfasst, dann ein Baumbauer, der jede Region unter der kleinsten behaltenen Box verschachtelt, die sie enthält — dieselbe Containment-Logik, mit der AX ein Steuerelement in eine Gruppe in ein Fenster verschachtelt.
Das ist die Bench, mitten im Lauf, über einer gewöhnlichen Webseite. Jede orange Box ist eine VXRegion — der Baum links ist dieselbe AXWindow-/Knoten-Hierarchie, die Mary bereits zu durchlaufen weiß, nur von Pixeln befüllt statt von der eigenen AX-Implementierung einer App. 245 Knoten aus 945 rohen Konturen, fünf Millisekunden, vollständig auf dem Gerät.
Noch keine Labels, und das ist Absicht
Jeder erkannte Knoten wird mit der Rolle VXRegion, der Kategorie .other und label: nil ausgeliefert. Kein OCR, kein Klassifikator, kein Raten, was eine Box ist — nur dass dort eine Grenze existiert. Das ist eine engere Behauptung als die eines echten AX-Knotens, und ich liefere lieber die engere wahre Behauptung aus als ein Platzhalter-Label, das selbstsicher wirkt und von einem korrekten nicht zu unterscheiden ist, bis etwas bricht. Labeling ist ein echter Schritt, und er kommt später, als eigene Naht.
Die Verpflichtung, die erhalten bleibt
Nichts an diesem Fallback ändert die Vertrauensgrenze. Die Eingabe ist ein Screenshot, den der Rechner ohnehin hat; die Ausgabe ist Bounding-Box-Mathematik, berechnet von einer prüfbaren Engine, die im selben Prozess läuft. Kein Netzwerkaufruf, kein Modell eines Drittanbieters, kein Bild verlässt das Gerät, um einen Baum zurückzubekommen. Wenn AX verfügbar ist, nutzt Mary AX. Wenn nicht, ist der Fallback Vision, die sich wie AX verhält — nachvollziehbar, lokal und in derselben Form gebaut —, statt Vision, die sich wie Überwachung verhält. Computer Use sollte in der Fähigkeit nachlassen, bevor es je in der Privatsphäre nachlässt.