HCI

Ambient Clients

20. August 2026hcimacosAccessibility-BaumAgentenDatenschutzLocal-First

Über die macOS-App, an der ich baue – und die zwei Unternehmen, die soeben ihre Silhouette ausgeliefert haben.

Gestern hat Meta eine Mac-App veröffentlicht.

Meta AI for Mac erschien am 19. August 2026 als 1.0-Beta – Apple Silicon, macOS 15 oder neuer. Sie hat zwei Fähigkeiten, die die Telefonversion nicht hat. Sie können ein Fenster an die Unterhaltung anhängen und nach dem fragen, was darin steht. Und Sie können ein Tastenkürzel halten, sprechen und die Worte in der App landen lassen, die gerade vor Ihnen liegt.

Das sind zwei der drei Dinge, an denen ich seit zehn Monaten baue.

Meta und ich haben dieselbe Silhouette gebaut und sonst fast nichts gemeinsam. Die Funktionen reimen sich. Die Architektur nicht. Und die Architektur ist das gesamte Produkt.

Was Meta tatsächlich ausgeliefert hat

Ehre, wem Ehre gebührt: Es ist eine wohlüberlegte App.

Quick Invoke legt mit Option-Leertaste ein kompaktes Eingabefeld über alles, was Sie gerade tun. Window Attach liest mit der Berechtigung für Bildschirmaufnahme und Bedienungshilfen den sichtbaren Text eines Fensters aus und erstellt einen Screenshot, der mit Ihrer nächsten Frage verschickt wird. Diktat tippt in Mail, in Dokumente, in Code-Editoren. Die Seitenleiste enthält Medien, Artefakte, Verlauf, geplante Aufgaben und eine Personalisierungsoberfläche namens „About Me“. Sie können das Dock-Symbol verstecken und ganz über ein Tastenkürzel leben. Geschäftskonten können Google Workspace verbinden, und Menschen mit professionellen Facebook- und Instagram-Konten bekommen Analysen – organische Reichweite, Vergleiche mit ähnlichen Marken, Prüfung von Werbekampagnen, Budgetvorschläge.

Dieser letzte Satzteil ist der, bei dem es sich lohnt zu verweilen. Die Berichterstattung formuliert es unverblümt: Dies ist eine App für Kreative und kleine Unternehmen, die ohnehin auf Metas Plattformen zu Hause sind. Das ist eine stimmige Strategie, und deshalb existiert die App überhaupt. Es sagt auch, worum herum die App entworfen ist: um die Konten und Unternehmen auf diesen Plattformen, statt das, was sie sieht, auf Ihrem Rechner zu behalten.

Und was OpenAI sechs Tage zuvor ausgeliefert hat

Metas App ist nicht die einzige, und nicht einmal die interessanteste.

Am 13. August 2026 hat OpenAI Computer History in der ChatGPT-Desktop-App für macOS ausgeliefert. Es ist Opt-in, standardmäßig aus, auf Pro-, Business- und Enterprise-Konten beschränkt und im EWR, in der Schweiz und im Vereinigten Königreich nicht verfügbar. Es ersetzt Chronicle, eine Forschungsvorschau, die mit Screenshots Ihres Bildschirms arbeitete – und der Ersatz macht gar keine Screenshots. Er zeichnet Interaktionsereignisse auf, die macOS über sein Bedienungshilfen-System bereitstellt: Klicks, Tippen, Tastenkürzel, App-Wechsel. Daraus werden Erinnerungen und eine Zeitleiste. The Register beschrieb den Tausch als „Recall-style screenshot surveillance“ gegen „friendly keylogging“, was härter ist als nötig, aber benennt, was aufgezeichnet wird.

Daneben steht Computer Use: ChatGPT sieht die grafische Oberfläche Ihres tatsächlichen Rechners und bedient sie. Es fragt nach Bildschirmaufnahme, „so ChatGPT can see the target app“, und nach Bedienungshilfen, „so ChatGPT can click, type, and navigate“. Screenshots, die es macht, werden wie jeder andere ChatGPT-Inhalt verarbeitet.

Ich widme dem einen Abschnitt, weil OpenAIs App für mich der schwierigere Vergleich ist, nicht der leichtere. Metas Mechanismus ist der einfachere im Kontrast zu Mary. OpenAI ist beim selben Mechanismus gelandet wie ich – und hat darunter drei andere Entscheidungen getroffen, und diese Entscheidungen sind das eigentliche Thema dieses Textes.

Die Lage ist also nicht „Meta tut das Aufdringliche, und alle anderen sind in Ordnung“. Zwei Unternehmen haben innerhalb einer Woche dieselbe Silhouette ausgeliefert, und ich baue seit zehn Monaten an der dritten. Die Unterschiede liegen alle unter der Wasserlinie.

Die drei Fragen

Jeder Assistent, der Ihren Bildschirm sehen und in Ihre Anwendungen tippen kann, muss drei Fragen beantworten. Die meisten Produktseiten beantworten keine davon.

  1. Wohin geht der Bildschirm?
  2. Wo lebt das Gedächtnis?
  3. Handelt er, oder rät er?

Mary entsteht, wenn man diese drei zuerst beantwortet und die Funktionsliste sich danach ergeben lässt. (Sie hieß früher Bonnie – der Name, den der Screenshot oben noch zeigt –, bevor sie zu Mary wurde.)

Wohin der Bildschirm geht

Wenn Metas App Ihr Fenster ansieht, erfasst sie ein Bild und den sichtbaren Text und schickt beides hoch. Das ist der Mechanismus – so funktioniert die Funktion, es ist keine Kritik daran. Der Screenshot ist die Nutzlast.

Mary arbeitet nicht so, und der Grund ist älter als Metas App.

Wenn Mary wissen muss, was vor Ihnen liegt, liest sie den Accessibility-Baum – dieselbe strukturierte Beschreibung von Bedienelementen und Text, die VoiceOver vorliest, im eigenen Prozess bei macOS angefordert. Sie bekommt den Titel des Dokuments, den Text der Passage, die Beschriftung der Schaltfläche. Sie braucht die Pixel nicht, also bewegen sich die Pixel nicht. Es gibt eine Fähigkeit look_at_screen, die einen Bereich für ein Vision-Modell erfasst, wenn der Accessibility-Baum wirklich keine Antwort liefern kann – eine Zeichenfläche, ein Bild, ein als Bild gerendertes PDF –, und sie ist bewusst die Ausnahme, abgesichert und getrennt.

Diese Trennung ist Doktrin in der Codebasis, und bezahlt wurde sie mit einem Fehler:

Augen sind ein UPGRADE für Workspace-Apps, nie eine Voraussetzung zum Handeln. Der Workspace-Fokus entscheidet, welches Dokument Mary wahrnimmt und BEARBEITET – nie, welche Skills sie NUTZEN darf.

Der Fehler, der diese Regel hervorgebracht hat, ist erzählenswert, weil er die ganze Gestalt der App erklärt. Marys Weltvokabular bestand einmal aus genau den drei Anwendungen, die sie beobachten konnte. Dadurch wurde „Ambient-Kontext“ stillschweigend zum Synonym für „Dinge mit Augen“. Ein Kalenderabruf hatte keine Welt, unter der er sich ablegen konnte, erreichte also niemanden und war im nächsten Zug verschwunden – während ein identischer Abruf aus Pages als Fakt bestehen blieb. Das für Nutzer sichtbare Symptom war: „Sie kann Dokumente ziehen, aber keine Kalender.“ Die Lösung bestand darin, jeden Akteur vollständig aufzuzählen und Vision als Upgrade statt als Eintrittsgeld zu behandeln.

Ein so gebauter Assistent braucht Ihren Bildschirm die meiste Zeit nicht. Das ist eine Datenschutzeigenschaft, die aus einer Entscheidung über die Taxonomie kommt, nicht aus einer Richtlinienseite.

OpenAIs Computer History liest ebenfalls das Bedienungshilfen-System. Es puffert diese Ereignisse bis zu 48 Stunden auf Ihrem Mac und schickt sie dann an OpenAIs Server, wo sie zu Erinnerungen verarbeitet werden. OpenAI sagt, die Ereignisse würden danach nicht aufbewahrt und nie zum Training verwendet, und ich habe keinen besonderen Grund, daran zu zweifeln. Aber Ihre Absicht hat Ihren Rechner verlassen. Ihre Tastenanschläge und Ihre Klicks haben die Reise gemacht, und das Einzige, was sie von einer anderen Aufbewahrungsrichtlinie trennt, ist ein Satz auf einer Dokumentationsseite, den ein Unternehmen ändern kann. Marys Lesen desselben Baums wird im eigenen Prozess angefordert, im eigenen Prozess verbraucht und lebt für den Zug. Nichts an der Accessibility-API erzwang das eine oder das andere Ergebnis. Zwei Apps lesen dieselbe Struktur aus demselben System, und eine von ihnen schickt sie über die Leitung.

Das ist der ganze Grund, warum ich immer wieder sage, dass die Architektur das Produkt ist. Der Berechtigungsdialog sieht in beiden Apps gleich aus.

Und Sie können ihre Arbeit prüfen. Der Routes-Bereich zeichnet auf, was jeder Zug tatsächlich verwendet hat: die Absicht, die Evidenz, den Grund, warum ein Skill gegenüber seinen Alternativen gewählt wurde, die Paketrevision, unter der er lief.

In die Spur ist eine harte Untergrenze eingeschrieben – roher markierter Text, generierte Prosa, Quellcode und Geheimnisse gelangen nie in Routenspuren oder dauerhafte Belege. Es ist unveränderliche Historie, und sie ist beobachtend: Nichts liest sie auf einem Entscheidungspfad. Sie existiert, damit „Warum hat sie das getan?“ eine Antwort hat, die keine Vermutung ist.

Die Regel: Ein Assistent, der auf Ihrem Rechner handeln kann, schuldet Ihnen für jede Handlung eine nachvollziehbare Begründung, und diese Begründung zu lesen darf Sie keine Privatsphäre kosten.

Wo das Gedächtnis lebt

Metas App erinnert sich an Sie in einer Oberfläche namens „About Me“, und dieses Gedächtnis lebt in Ihrem Meta-Konto. Löschen Sie das Konto, geht die Personalisierung mit. Wechseln Sie den Assistenten, fangen Sie bei null an.

Die Erinnerungen, die Computer History aufbaut, kommen wieder herunter und bleiben als Klartextdateien auf Ihrem Rechner – was klingt wie das, wofür ich plädiere, bis man die Warnung liest, die OpenAI in die eigene Dokumentation schreibt:

Computer History files can contain sensitive information. They are not encrypted by Computer History, and other programs running as your macOS user may be able to access them.

Anerkennung für die Direktheit; das ist ein ehrlicherer Satz, als die meisten Unternehmen ihn ausliefern würden. Er benennt auch eine echte Gefahr. Eine lokale Datei ist nur so privat wie die Prozessliste um sie herum, die Interaktionsereignisse liegen ihre 48 Stunden unverschlüsselt dort, und die Erinnerungsdateien bleiben, bis jemand sie löscht. Lokalität ist nicht dasselbe wie Sicherheit.

Marys Gedächtnis ist ein Programm namens Totem, das auf Ihrem Mac läuft. Es ist ein Vektorspeicher und ein Wissensgraph und wird als gewöhnliche Dateien unter ~/Documents/totem-db abgelegt. Um mich an denselben Maßstab zu halten: Heute sind diese Dateien ebenfalls nicht verschlüsselt. Sie im Ruhezustand zu verschlüsseln und nur im Speicher zu entschlüsseln, ist eines der nächsten Ziele. Darüber hinaus habe ich eine noch bessere Idee, die einen Nutzer wirklich spüren lässt, dass sein Wissen ihm und nur ihm gehört.

Sie können alles sehen. Der Totems-Bereich durchsucht die Knoten, die Bibliothek, den Graphen, die Retrieval-Spuren. Sie können eine Entität umbenennen, zwei zusammenführen, die sich als dieselbe Person herausgestellt haben, eine Beziehung löschen, die der Extraktor falsch erkannt hat, und die Extraktion erneut ausführen – jeweils hinter einer Bestätigung, weil es ein unumkehrbarer Eingriff in Ihr eigenes Gedächtnis ist. Sie können überhaupt wählen, wie Entitäten extrahiert werden: ein gehostetes Modell, On-Device-MLX oder nur Schlüsselwörter.

Eine Alpha-Version dieser Philosophie wurde Anfang des Jahres in eine iOS-Anwendung eingebaut, Seer. Durch diese Arbeit konnte ich einige wichtige Abwägungen im Ansatz für das Totem-Design verstehen.

Die Regel: Personalisierung, die Sie nicht mitnehmen, prüfen oder löschen können, gehört nicht Ihnen – sie ist ein Bindungsmerkmal, das Ihren Namen trägt.

Handeln oder raten

Hier liegt der Unterschied, der mir am wichtigsten ist, und er ist der, der in einer Funktionsliste am wenigsten sichtbar wird.

Metas App liest Ihr Fenster und gibt Ihnen einen Vorschlag. Sie führen ihn aus. Die Schleife schließt sich in Ihren Händen, was bedeutet, dass der Assistent ein sehr guter Ratgeber ist, der nie Verantwortung für ein Ergebnis übernimmt.

OpenAI passt nicht in diese Zweiteilung, und deshalb ist es der ernsthafte Vergleich. Computer Use handelt – auf Ihrem echten Mac, mit gewährter Bildschirmaufnahme und Bedienungshilfen, klickend und tippend in Ihren tatsächlichen Anwendungen. Das ist dieselbe Kategorie von Macht, die Mary für sich beansprucht. Die Frage lautet dann nicht mehr handelt es, sondern die bessere: Was verpflichtet es zum Handeln, Ihnen zu zeigen, und was stoppt es, wenn es falsch liegt?

OpenAIs Antwort darauf ist Anleitung. Sensible Apps geschlossen halten, außer die Aufgabe braucht sie, die Berechtigungsabfragen prüfen, „Immer erlauben“ für Apps reservieren, denen Sie vertrauen. Das ist vernünftiger Rat, und es ist ausschließlich Rat – er steht auf einer Dokumentationsseite, richtet sich an Sie und wird durch Ihre Aufmerksamkeit durchgesetzt.

Mary bringt die Arbeit zu Ende. Wenn sie in Ihr Dokument schreibt, druckt sie keinen Text in ein Chatfenster, den Sie kopieren müssten – sie führt eine validierte Ability über einen Adapter aus, der in Scrivener an Ihrem Cursor tippt oder die von Ihnen benannte Passage bearbeitet oder das Bedienelement drückt, das die Seite anbietet. Jeder Lauf hinterlässt einen Beleg: die eingefrorene Paketidentität, den Aufruf, die Wirkung, ob sie umkehrbar war.

Das ist nur wegen dessen sicher, was darunter liegt. Eine Ability deklariert eine Capability – ihre Wirkung, ihre Berechtigungen, die Klassen von Zielen, die sie berühren darf, ob sie eine Bestätigung braucht. Diese Beschränkungen sind ausführbare Richtlinie und eine harte Untergrenze, kein Rat an ein Modell. Ein Paket, das versucht, eine destruktive Capability ohne Bestätigungspflicht zu nutzen, wird nicht geladen; der Validator lehnt es ab.

Und die letzte Instanz ist nicht die Software:

Die Person gewinnt immer. Nachdem physische Eingabe einen Lauf abbricht, holt Mary sich den Fokus nicht zurück und bewegt den Cursor nicht wieder unter ihnen weg.

Dies ist sichtbare Automatisierung.

Sie sehen zu, wie es geschieht. Sie berühren die Tastatur, und es hört auf. Es kämpft nicht mit Ihnen um den Cursor.

Die Regel: Ein Assistent, dem das Handeln erlaubt ist, muss durch eine menschliche Hand unterbrechbar sein und darf diese Unterbrechung nie unbemerkt rückgängig machen können.

Warum Open Source hier tragend ist, nicht dekorativ

Update, November 2026: Das Mary-Repository ist jetzt privat, und Mary wird als Ambient ausgeliefert. Dieser Abschnitt ist die Argumentation, wie ich sie im August geführt habe, als das Repository noch öffentlich war.

Mary stand unter GPL-3.0, als ich dies schrieb. Das ist aus dem naheliegenden Grund wichtig und aus einem weit weniger naheliegenden.

Der naheliegende Grund: Sie können lesen, was sie sendet. Niemand muss mir beim Accessibility-Baum aufs Wort glauben, nicht bei dem, was in Totem abgelegt wird, und nicht bei der Frage, welches Modell welche Bytes sieht.

Der weniger naheliegende Grund ist das Erweiterungsmodell. Alles, was Mary kann, wird als .mary-Paket ausgeliefert: kanonisches JSON, mit Integritäts-Digest, optional signiert. Zehn davon sind mitgeliefert – Writing, Coding, Design, Sketch, Scrivener, Browsing, Chrome, Architect, Window Management, ShaderFeel. Während ich das Design und die Umsetzung der Abilities weiter iteriere, will ich es jedem leichter machen, Mary eine eigene Anwendung beizubringen, mit einer Frontend-Seite, die als Ability Studio dient, plus Anleitungen und Beispielen.

Mary eine neue Anwendung beizubringen ist eine Deklaration ganz ohne Swift. Die Scrivener-Unterstützung wird als scrivener.mary ausgeliefert; im ganzen Repository gibt es keine Scrivener-Quelldatei. Im Ability Studio können Sie jedes Paket öffnen, forken, visuell bearbeiten, validieren und für jemand anderen exportieren.

Eine blühende Open-Source-Community rund um dieses neue Paradigma wäre in meinen Augen das erfolgreiche Ergebnis. Es ist ein weiterer Grund, warum ich glaube, dass dieses Interaktionsparadigma nur Erfolg haben kann, wenn es Open Source im reinsten Sinne ist.

Vergleichen Sie die Vertrauensfrage in beide Richtungen. Um der App von OpenAI oder Meta zu vertrauen, müssen Sie der jeweiligen Institution vertrauen. Um einem Mary-Paket zu vertrauen, müssen Sie eine JSON-Datei lesen, und die Laufzeit lehnt es ab, wenn es über seine eigenen Wirkungen lügt.

Der Raum war schon da

Es gibt einen Namen für das, was die Branche sich unter dieser Anforderung vorgestellt hat. Spatial Computing sollte als neuer Raum ankommen – ein Headset, eine frische Leinwand, Anwendungen, die als Volumen neu gebaut werden, eine Grenze, die man überschreitet, um hineinzukommen. Das Versprechen darunter war ein Computer, der weiß, wo Dinge sind und was Sie umgibt. Der Preis war, den Schreibtisch zu verlassen, an dem Sie ohnehin arbeiten.

Aber der Raum war schon da. Ihr Bildschirm ist ein Raum. Er hat Bereiche und Container, ein fokussiertes Dokument, ein Bedienelement unter dem Zeiger, eine Hierarchie von Fenstern, die ihre eigenen Namen kennen – und macOS veröffentlicht seit zwei Jahrzehnten eine strukturierte Karte davon, weil blinde Nutzer diese Karte lange vor den Assistenten brauchten. Der Accessibility-Baum ist kein Behelf dafür, dass es keine Kamera gibt. Er ist der Grundriss. Und die Taxonomie, die mir dieser Kalenderfehler aufgezwungen hat – jeden Akteur aufzählen, Augen als Upgrade statt als Eintrittsgeld behandeln –, macht ihn zu einer Karte des ganzen Gebäudes statt zu einer Karte der drei Räume, die zufällig Fenster haben.

Ein Assistent, der diese Karte liest, weiß, wo er ist. Er weiß es ohne Headset, ohne Screenshot und ohne dass Sie sich bewegen müssen. Mary öffnet keinen neuen Raum, in dem Sie arbeiten sollen – sie arbeitet in Scrivener, in dem Dokument, das Sie schon offen haben, am Cursor, wo Sie ihn gelassen haben, und geht aus dem Weg, sobald sich Ihre Hand bewegt.

Ambient Clients ist Spatial Computing, das die bestehenden Räume bewahrt.

Das ist die Wette. Nicht dass ein Einzelprojekt Meta bei den Funktionen übertrifft. Sondern dass, wenn ein Assistent so tief in Ihrer Arbeit steckt – Ihre Fenster liest, in Ihre Dokumente tippt, Ihre Notizen hält –, die Frage, wem das Ding gehört, aufhört, ideologisch zu sein, und praktisch wird.

Metas App arbeitet für Sie, in dem Sinne, wie ein Dienst für Sie arbeitet.

Mary ist gebaut, um mit Ihnen zu arbeiten: parallel, auf Ihrer Hardware, aus einem Gedächtnis, das Ihnen gehört. Der Accessibility-Baum von macOS ist der Rosetta-Stein für diese ganze Vision. Gebaut, damit blinde Nutzer einen Bildschirm bedienen können, wurde er auch zur vollständigsten strukturierten Karte der Mensch-Maschine-Interaktion auf jedem Desktop, und ich glaube nicht, dass jemand ganz begriffen hat, was sie möglich macht. Das vollständige Argument, warum diese Unterscheidung einen Namen verdient – und eine Architektur –, ist der längere Text nebenan: Ambient Intelligent Systems.