HCI
Ambient Clients
À propos de l’application macOS que je construis, et des deux entreprises qui viennent d’en lancer la silhouette.
Hier, Meta a lancé une application pour Mac.
Meta AI pour Mac est arrivée le 19 août 2026 en version bêta 1.0 — Apple silicon, macOS 15 ou ultérieur. Elle offre deux capacités que la version pour téléphone n’a pas. Vous pouvez joindre une fenêtre à la conversation et poser des questions sur son contenu. Et vous pouvez maintenir un raccourci, parler, et voir les mots atterrir dans l’application qui se trouve devant vous.
Ce sont deux des trois choses que je construis depuis dix mois.
Meta et moi avons construit la même silhouette et n’avons presque rien d’autre en commun. Les fonctionnalités riment. L’architecture, non. Et l’architecture, c’est tout le produit.
Ce que Meta a réellement lancé
Rendons à César ce qui est à César : c’est une application bien pensée.
Quick Invoke place un compositeur compact par-dessus ce que vous faites, avec Option-Espace. La jonction de fenêtre, avec l’autorisation Enregistrement de l’écran et Accessibilité, lit le texte visible d’une fenêtre et capture une capture d’écran à envoyer avec votre prochaine question. La dictée saisit le texte dans Mail, dans des documents, dans des éditeurs de code. La barre latérale contient les médias, les artefacts, l’historique, les tâches planifiées et une surface de personnalisation appelée « About Me ». Vous pouvez masquer l’icône du Dock et vivre entièrement sur un raccourci clavier. Les comptes professionnels peuvent connecter Google Workspace, et les personnes disposant de comptes Facebook et Instagram professionnels obtiennent des analyses — performance organique, comparaisons avec des marques similaires, examen des campagnes publicitaires, suggestions de budget.
Cette dernière proposition est celle sur laquelle il vaut la peine de s’arrêter. Les articles de presse le formulent simplement : c’est une application pour les créateurs et les petites entreprises qui vivent déjà sur les plateformes de Meta. C’est une stratégie cohérente, et c’est la raison pour laquelle l’application existe. Elle vous dit aussi autour de quoi l’application est conçue : les comptes et les entreprises de ces plateformes, plutôt que de garder sur votre machine ce qu’elle voit.
Et ce qu’OpenAI a lancé six jours plus tôt
Celle de Meta n’est pas la seule, et ce n’est même pas la plus intéressante.
Le 13 août 2026, OpenAI a lancé Computer History dans l’application de bureau ChatGPT pour macOS. Elle est optionnelle, désactivée par défaut, réservée aux comptes Pro, Business et Enterprise, et indisponible dans l’EEE, en Suisse et au Royaume-Uni. Elle remplace Chronicle, un aperçu de recherche qui fonctionnait en prenant des captures de votre écran — et le remplacement ne prend aucune capture d’écran. Il enregistre des événements d’interaction que macOS expose via son système d’accessibilité : clics, saisie, raccourcis clavier, changements d’application. Ceux-ci deviennent des souvenirs et une chronologie. The Register a décrit l’échange comme le remplacement de la « surveillance par captures d’écran à la Recall » par du « keylogging sympathique », ce qui est plus dur que nécessaire, mais nomme bien ce qui est enregistré.
À côté se trouve Computer Use : ChatGPT qui voit et manipule l’interface graphique de votre machine réelle. Il demande l’Enregistrement de l’écran « pour que ChatGPT puisse voir l’application cible » et l’Accessibilité « pour que ChatGPT puisse cliquer, saisir du texte et naviguer ». Les captures d’écran qu’il prend sont traitées comme n’importe quel autre contenu ChatGPT.
Je consacre une section à cela parce que l’application d’OpenAI est la comparaison la plus difficile à faire pour moi, pas la plus facile. Le mécanisme de Meta est le plus simple à opposer à celui de Mary. OpenAI est arrivée au même mécanisme que moi — puis a pris trois décisions différentes en dessous, et ces décisions sont tout le sujet de ce texte.
Le paysage n’est donc pas « Meta fait la chose invasive et tous les autres vont bien ». Deux entreprises ont lancé la même silhouette en moins d’une semaine, et je construis la troisième depuis dix mois. Les différences sont toutes sous la ligne de flottaison.
Les trois questions
Tout assistant qui peut voir votre écran et saisir du texte dans vos applications doit répondre à trois questions. La plupart des pages produit ne répondent à aucune.
- Où va l’écran ?
- Où vit la mémoire ?
- Agit-il, ou conseille-t-il ?
Mary est ce qui arrive quand on répond d’abord à ces trois questions et qu’on laisse la liste des fonctionnalités en découler ensuite. (Elle s’appelait Bonnie — le nom que la capture d’écran ci-dessus montre encore — avant de devenir Mary.)
Où va l’écran
Quand l’application de Meta regarde votre fenêtre, elle capture une image et le texte visible, et les envoie en amont. C’est le mécanisme — c’est ainsi que la fonctionnalité marche, ce n’est pas une critique. La capture d’écran est la charge utile.
Mary ne fonctionne pas ainsi, et la raison est plus ancienne que l’application de Meta.
Quand Mary a besoin de savoir ce qui se trouve devant vous, elle lit l’arbre d’accessibilité — la même description structurée des contrôles et du texte que lit VoiceOver, demandée dans le processus à macOS. Elle obtient le titre du document, le texte du passage, l’étiquette du bouton. Elle n’a pas besoin des pixels, donc les pixels ne bougent pas. Il existe une capacité look_at_screen qui capture une région pour un modèle de vision quand l’arbre d’accessibilité ne peut vraiment pas répondre — un canvas, une image, un PDF rendu comme une image — et c’est délibérément l’exception, encadrée et à part.
Cette séparation est une doctrine dans la base de code, et elle a été payée par un bug :
les yeux sont une AMÉLIORATION pour les applications d’espace de travail, jamais une condition préalable pour agir. Le focus de l’espace de travail décide quel document Mary perçoit et ÉDITE — jamais quels Skills elle peut UTILISER.
L’échec qui a produit cette règle mérite d’être raconté, car il explique toute la forme de l’application. Le vocabulaire de monde de Mary se limitait autrefois exactement aux trois applications qu’elle pouvait observer. Cela faisait discrètement de « contexte ambiant » un synonyme de « choses dotées d’yeux ». Une lecture de calendrier n’avait aucun monde sous lequel se classer ; elle n’atteignait donc personne et avait disparu au tour suivant — alors qu’une lecture identique depuis Pages persistait comme un fait. Le symptôme visible par l’utilisateur était : « elle sait récupérer des documents mais pas des calendriers. » La correction a consisté à énumérer complètement tous les acteurs et à traiter la vision comme une amélioration plutôt que comme un droit d’entrée.
Un assistant construit ainsi n’a pas besoin de votre écran la plupart du temps. C’est une propriété de vie privée qui vient d’une décision de taxonomie, non d’une page de politique.
Computer History d’OpenAI lit aussi le système d’accessibilité. Elle met ces événements en tampon sur votre Mac pendant 48 heures au plus, puis les envoie aux serveurs d’OpenAI pour les transformer en souvenirs. OpenAI dit que les événements ne sont pas conservés ensuite et ne servent jamais à l’entraînement, et je n’ai aucune raison particulière d’en douter. Mais votre intention est partie. Vos frappes et vos clics ont fait le voyage, et la seule chose qui les sépare d’une autre politique de conservation est une phrase sur une page de documentation qu’une entreprise peut réviser. La lecture du même arbre par Mary est demandée dans le processus, consommée dans le processus, et vit le temps d’un tour. Rien dans l’API d’accessibilité n’imposait l’un ou l’autre résultat. Deux applications lisent la même structure sur le même système, et l’une d’elles la met sur le réseau.
C’est toute la raison pour laquelle je répète que l’architecture est le produit. La boîte de dialogue d’autorisation est la même dans les deux applications.
Et vous pouvez vérifier son travail. Le volet Routes enregistre ce que chaque tour a réellement utilisé : l’intention, les éléments de preuve, la raison pour laquelle un Skill a été choisi plutôt que ses alternatives, la révision du package sous laquelle il s’est exécuté.
La trace comporte un plancher strict : le texte sélectionné brut, la prose générée, le code source et les secrets n’entrent jamais dans les traces de route ni dans les reçus durables. C’est un historique immuable, et il est observationnel : rien ne le lit sur un chemin de décision. Il existe pour que « pourquoi a-t-elle fait cela ? » ait une réponse qui ne soit pas une supposition.
La règle : un assistant qui peut agir sur votre machine vous doit une raison lisible pour chaque action, et cette raison ne doit vous coûter aucune vie privée à lire.
Où vit la mémoire
L’application de Meta se souvient de vous dans une surface appelée « About Me », et cette mémoire vit dans votre compte Meta. Supprimez le compte et la personnalisation part avec lui. Changez d’assistant et vous repartez de zéro.
Les souvenirs que construit Computer History redescendent et restent sur votre machine sous forme de fichiers en texte brut — ce qui ressemble à ce que je défends, jusqu’à ce que vous lisiez l’avertissement qu’OpenAI place dans sa propre documentation :
Les fichiers Computer History peuvent contenir des informations sensibles. Ils ne sont pas chiffrés par Computer History, et d’autres programmes exécutés sous votre utilisateur macOS peuvent y avoir accès.
Bravo pour la franchise ; c’est une phrase plus honnête que ce que la plupart des entreprises publieraient. Elle nomme aussi un danger réel. Un fichier local n’est aussi privé que la liste des processus qui l’entoure, les événements d’interaction y restent non chiffrés pendant leurs 48 heures, et les fichiers de mémoire restent jusqu’à ce que quelqu’un les supprime. Le local n’est pas synonyme de sûr.
La mémoire de Mary est un programme appelé Totem qui s’exécute sur votre Mac. C’est une base vectorielle et un graphe de connaissances, et il persiste sous forme de fichiers ordinaires dans ~/Documents/totem-db. Pour me tenir au même standard : aujourd’hui, ces fichiers ne sont pas chiffrés non plus. Les chiffrer au repos et ne les déchiffrer qu’en mémoire est l’un des prochains objectifs. Au-delà, j’ai une idée encore meilleure qui fera vraiment sentir à un utilisateur que ses connaissances sont à lui, et à lui seul.
Vous pouvez tout voir. Le volet Totems permet de parcourir les nœuds, la bibliothèque, le graphe, les traces de récupération. Vous pouvez renommer une entité, fusionner deux entités qui se sont révélées être la même personne, supprimer une relation que l’extracteur a mal établie, et relancer l’extraction — chacune derrière une confirmation, car c’est de la chirurgie irréversible sur votre propre mémoire. Vous pouvez choisir comment les entités sont extraites : un modèle hébergé, MLX sur l’appareil, ou des mots-clés seulement.
Une version alpha de cette philosophie a été intégrée plus tôt cette année dans une application iOS, Seer. C’est grâce à cette création que j’ai pu comprendre d’importants compromis dans l’approche de la conception de Totem.
La règle : une personnalisation que vous ne pouvez ni emporter, ni inspecter, ni supprimer n’est pas à vous — c’est une fonction de rétention qui porte votre nom.
Agir, ou conseiller
Voici la différence qui compte le plus pour moi, et c’est celle qui se voit le moins dans une liste de fonctionnalités.
L’application de Meta lit votre fenêtre et vous donne une suggestion. Vous l’exécutez. La boucle se ferme entre vos mains, ce qui veut dire que l’assistant est un très bon conseiller qui n’assume jamais la responsabilité d’un résultat.
OpenAI n’entre pas dans cette alternative binaire, et c’est pourquoi c’est la comparaison sérieuse. Computer Use agit — sur votre vrai Mac, avec l’Enregistrement de l’écran et l’Accessibilité accordés, en cliquant et en saisissant du texte dans vos vraies applications. C’est la même catégorie de pouvoir que revendique Mary. La question cesse donc d’être agit-il et devient la meilleure : qu’est-ce qu’agir l’oblige à vous montrer, et qu’est-ce qui l’arrête quand il a tort ?
La réponse d’OpenAI est un conseil. Gardez fermées les applications sensibles sauf si la tâche l’exige, examinez les demandes d’autorisation, réservez « Toujours autoriser » aux applications de confiance. C’est un conseil sensé, et ce n’est que cela — il vit dans une page de documentation, adressé à vous, appliqué par votre attention.
Mary mène le travail à terme. Quand elle écrit dans votre document, elle n’imprime pas du texte dans un volet de chat pour que vous le copiiez — elle exécute une Ability validée via un adaptateur qui saisit à votre curseur dans Scrivener, ou édite le passage que vous avez désigné, ou appuie sur le contrôle que la page propose. Chaque exécution laisse un reçu : l’identité figée du package, l’invocation, l’effet, et si c’était réversible.
Cela n’est sûr qu’en raison de ce qui se trouve en dessous. Une Ability déclare une Capability — son effet, ses permissions, les classes de cibles qu’elle peut toucher, si elle exige une confirmation. Ces contraintes sont une politique exécutable et un plancher strict, non des conseils à un modèle. Un package qui tente d’utiliser une capability destructrice sans exiger de confirmation ne se charge pas ; le validateur le refuse.
Et l’autorité finale n’est pas le logiciel :
La personne gagne toujours. Après qu’une saisie physique a annulé une exécution, Mary ne reprend pas le focus et ne déplace pas le curseur sous la main de la personne.
C’est de l’automatisation visible.
Vous la regardez faire. Vous touchez le clavier et elle s’arrête. Elle ne se bat pas avec vous pour le curseur.
La règle : un assistant autorisé à agir doit pouvoir être interrompu par une main humaine, et ne doit jamais pouvoir annuler discrètement cette interruption.
Pourquoi l’open source est ici porteur, et non décoratif
Mise à jour, novembre 2026 : le dépôt de Mary est désormais privé, et Mary est distribuée sous le nom d’Ambient. Cette section reprend l’argumentation telle que je l’ai formulée en août, quand le dépôt était public.
Mary était sous GPL-3.0 quand j’ai écrit ceci. Cela compte pour la raison évidente et pour une autre, beaucoup moins évidente.
La raison évidente : vous pouvez lire ce qu’elle envoie. Personne n’a à me croire sur parole au sujet de l’arbre d’accessibilité, de ce qui est déposé dans Totem, ou de quel modèle voit quels octets.
La raison moins évidente est le modèle d’extension. Tout ce que Mary sait faire est livré sous forme de package .mary : JSON canonique, avec condensat d’intégrité, éventuellement signé. Dix d’entre eux sont fournis d’office — Writing, Coding, Design, Sketch, Scrivener, Browsing, Chrome, Architect, Window Management, ShaderFeel. Au fil de mes itérations sur la conception et l’implémentation des abilities, je vise à faciliter pour quiconque l’apprentissage à Mary d’une de ses applications, avec un site front-end faisant office d’Ability Studio, ainsi que des guides et des exemples.
Apprendre à Mary une nouvelle application est une déclaration sans une seule ligne de Swift. La prise en charge de Scrivener est livrée sous forme de scrivener.mary ; il n’y a aucun fichier source Scrivener nulle part dans le dépôt. Ability Studio vous permet d’ouvrir n’importe quel package, de le forker, de l’éditer visuellement, de le valider et de l’exporter pour quelqu’un d’autre.
Une communauté open source florissante centrée sur ce nouveau paradigme serait, à mes yeux, le résultat réussi. C’est une autre raison pour laquelle je pense que ce paradigme d’interaction ne peut réussir que s’il est open source au sens le plus pur.
Comparez la question de la confiance dans chaque sens. Pour faire confiance à l’application d’OpenAI ou de Meta, il faut faire confiance à l’institution respective. Pour faire confiance à un package Mary, il faut lire un fichier JSON, et le runtime le refusera s’il ment sur ses propres effets.
L’espace était déjà là
Il y a un nom pour ce que l’industrie a décidé que cela exigerait. L’informatique spatiale devait arriver comme une nouvelle pièce — un casque, une toile vierge, des applications reconstruites en volumes, une frontière à franchir pour entrer. La promesse qui la sous-tendait était un ordinateur qui sait où sont les choses et ce qui vous entoure. Le prix était de quitter le bureau où vous travaillez déjà.
Mais l’espace était déjà là. Votre écran est un espace. Il a des régions et des conteneurs, un document ciblé, un contrôle sous le pointeur, une hiérarchie de fenêtres qui connaissent leur propre nom — et macOS en publie une carte structurée depuis deux décennies, parce que les utilisateurs aveugles avaient besoin de cette carte bien avant les assistants. L’arbre d’accessibilité n’est pas un contournement pour pallier l’absence de caméra. C’est le plan d’étage. Et la taxonomie que ce bug de calendrier m’a imposée — énumérer tous les acteurs, traiter les yeux comme une amélioration plutôt que comme un droit d’entrée — est ce qui en fait une carte de tout le bâtiment plutôt que des trois pièces qui ont par hasard des fenêtres.
Un assistant qui lit cette carte sait où il se trouve. Il le sait sans casque, sans capture d’écran, et sans vous demander de bouger. Mary n’ouvre pas une nouvelle pièce où vous devriez travailler — elle travaille dans Scrivener, dans le document que vous avez déjà ouvert, au curseur où vous l’avez laissé, et s’efface à l’instant où votre main bouge.
Les clients ambiants sont de l’informatique spatiale, tout en préservant les espaces qui existent déjà.
Voilà le pari. Il ne s’agit pas de dire qu’un projet en solo surpasse Meta en fonctionnalités. Il s’agit de dire que lorsqu’un assistant est aussi profondément dans votre travail — à lire vos fenêtres, à saisir du texte dans vos documents, à détenir vos notes — la question de savoir qui possède la chose cesse d’être idéologique et devient pratique.
L’application de Meta travaille pour vous, au sens où un service travaille pour vous.
Mary est conçue pour travailler avec vous : en parallèle, sur votre matériel, à partir d’une mémoire qui vous appartient. L’arbre d’accessibilité de macOS est la pierre de Rosette de toute cette vision. Conçu pour que les utilisateurs aveugles puissent naviguer dans un écran, il est aussi devenu la carte structurée la plus complète de l’interaction humain-machine sur n’importe quel bureau, et je ne pense pas que quiconque ait pleinement mesuré ce qu’il rend possible. L’argument complet sur la raison pour laquelle cette distinction mérite un nom — et une architecture — se trouve dans le texte plus long d’à côté : Ambient Intelligent Systems.