HCI
Ambient Abilities
Un rapport de terrain depuis la surface d’édition de l’assistant ambiant, et la question de routage qui se cache dessous.
L’assistant dont je parle sur ce blog a un nouveau nom. Bonnie est devenue Mary — une ré-architecture, non un changement de marque : les mêmes engagements (l’arbre d’accessibilité comme vérité de terrain, une mémoire que l’utilisateur possède, des actions qui laissent un reçu) taillés jusqu’à leur forme porteuse. L’essentiel de ce que change le renommage est interne. Ce qui ne change pas, c’est le pari sous-jacent : apprendre à Mary une nouvelle application ne devrait jamais exiger d’écrire du Swift.
Cette idée vit dans un seul écran, l’Ability Studio, et je veux le parcourir dans l’ordre où j’y ai réellement vécu ces derniers temps — une recipe, l’ability à laquelle elle appartient, un skill à l’intérieur de cette ability, puis la partie que je trouve la plus intéressante d’un point de vue ingénierie dans toute l’application : l’outil qui me permet de répéter la façon dont une phrase est routée, avant qu’elle n’atteigne un modèle.
Une recipe est une macro avec un argument
Voici « Pair Program », une recipe que j’ai construite pour relire un diff sans ouvrir de terminal :
Une Recipe enchaîne des Skills en une seule étape que l’on peut demander directement à Mary — les skills propres à cette ability, ou ceux de n’importe quelle ability installée. « Pair Program » lit le fichier courant, lit le symbole sous le curseur, récupère le plan du projet, puis passe la main à Mary elle-même pour planifier la modification minimale avant que « Coding » ne l’achève et lance une vérification de compilation, et enfin Mary explique ce qui a changé. Deux de ces sept étapes ne sont liées à aucun adaptateur — elles appartiennent à Mary, non à une ability, ce qui est la façon dont la recipe dit « le raisonnement a lieu ici, les appels d’outils liés mécaniquement ont lieu partout ailleurs ». Une recipe n’est pas un script qui ne fait qu’appeler des outils ; c’est une séquence qui peut rendre la main au modèle et la reprendre.
Elle est aussi étiquetée Branching, et la légende dit tout haut ce qui se dit d’habitude à voix basse : cette recipe se rétablit en cas d’échec, son ordre s’édite donc dans Advanced. Les étapes que vous voyez ne forment pas un pipeline strict de haut en bas — c’est un graphe avec des arêtes de récupération, et la liste linéaire en est la projection lisible. Et en bas, une recipe déclare son propre contrat de la même manière qu’un skill : task · string · required. Ce détail compte plus qu’il n’y paraît — une recipe n’est pas la documentation d’une procédure, c’est une capacité invocable avec une signature typée, indiscernable d’un simple skill pour ce qui l’appelle.
Les abilities sont l’unité que l’on enseigne réellement
Reculons d’un niveau et vous obtenez l’écran dans lequel vit la recipe — l’Ability Studio, ouvert sur l’ability Apple Music :
Une Ability est une famille portable de comportements et de politique d’exploitation. Elle déclare un paradigme — Apple Music est applicationExpertise, l’un des quatre (les autres étant discipline, systemControl et reasoning) — et elle peut étendre une autre ability. Apple Music étend Multimedia, une discipline : la forme générale de « quelque chose qui lit des médias » est définie une seule fois, et Apple Music la réalise pour une application précise. La barre latérale montre le reste de la liste vivant sous la même règle — Coding et Writing comme disciplines, Chrome, Safari et Scrivener comme expertise d’application, Window Management comme contrôle système.
Le panneau Tune de droite est la partie sur laquelle il vaut la peine de s’arrêter, car il ressemble à de la documentation et n’en est pas. Summary, Listens for, Phrases, Not when, Also called, Sounds like — chacun de ces champs est une donnée structurée et bornée qui entre dans le corpus d’embeddings de l’ability. Il n’y a ici aucun prompt système en texte libre à régler à la main, ni de fine-tuning à lancer. Apprendre à Mary que « dans l’appli de musique » signifie Apple Music est le même genre de modification que d’ajouter une ligne à un tableur. C’est ce qui fait d’une ability quelque chose qu’un non-ingénieur peut étendre : la surface que vous avez le droit de toucher est exactement celle qui a une portée sémantique, rien de plus, rien de caché en dessous.
Plus bas, la rangée Skills rend la composition explicite : Apple Music réalise ce qu’elle étend — Say What’s Playing, Control Playback, Search the Catalog, Play a Song, Open the Player — puis l’arbre se poursuit au-delà de la frontière de l’ability : Multimedia est ce qu’elle étend, Window Management est ce qui l’appuie, à hauteur de sept skills. La composition verticale (extends) et la composition horizontale (supporting) sont tracées comme le même genre de ligne, parce que pour le routeur elles se résolvent de la même manière. Et le pied de page est honnête sur l’état des choses sans être alarmant : Active · 4 advisories · saving creates a local override. Éditer une ability fournie ne modifie jamais l’original partagé — elle se scinde en quelque chose de local, et les advisories vous disent ce qui est incomplet avant que vous ne le découvriez à l’exécution.
Un skill est la chose atomique qui s’exécute réellement
Un niveau plus bas, une seule fiche de skill, ouverte pour inspection :
Say What’s Playing est now_playing, et il est marqué READY. Ses étiquettes sont son contrat réel : acts, runs unasked, Media Surface, from Multimedia. « Runs unasked » est une propriété déclarée, non une supposition que le modèle fait à l’inférence — cela signifie que ce skill précis est autorisé à prendre la parole sans y être invité, ce qui fait la différence entre un assistant qui répond à des questions et un assistant réellement ambiant. « Media Surface » nomme l’adaptateur générique qui se trouve dessous : le même fournisseur compilé qui répond à « qu’est-ce qui joue » pour Apple Music y répond aussi pour toute autre application qui présente des commandes de lecture que l’arbre d’accessibilité peut voir, ce qui est toute la raison pour laquelle Multimedia peut être une discipline plutôt que cinq copies du même skill. Vous pouvez déposer cette fiche exacte dans une recipe en un clic, ou sauter directement à l’ability Multimedia qu’elle implémente réellement. Rien dans la fiche de skill n’est un aperçu du comportement — ce sont les métadonnées propres du comportement, inspectables parce qu’elles n’ont jamais été autre chose.
Le problème qu’aucun de ces éléments ne résout seul
Les Abilities et les Skills vous donnent un vocabulaire. Ils ne répondent pas, à eux seuls, à la question à laquelle toute architecture d’usage de l’ordinateur doit finir par répondre : étant donné ce que la personne vient de dire, laquelle de ces cent choses exécute-t-on ?
La réponse évidente — donner au modèle un prompt système qui liste tous les outils et le laisser décider, à chaque tour — est celle que livrent la plupart des frameworks d’agents, et elle a un coût qui s’aggrave avec la taille de la liste. Chaque tour paie un aller-retour complet avec le modèle rien que pour déterminer où aller, avant même que le moindre raisonnement véritable n’ait lieu. Et la décision n’est lisible que dans la mesure où la chaîne de raisonnement du modèle a bien voulu l’exprimer cette fois-là, c’est-à-dire : pas beaucoup. À mesure que la liste d’abilities de Mary grandit, ce chemin devient plus lent et moins auditable exactement au rythme où l’on voudrait qu’il devienne plus rapide et plus auditable.
La réponse de Mary est de donner au routeur sa propre opinion, distincte de celle du modèle, construite à partir des mêmes données rédigées que vous avez vues dans le panneau Tune. Chaque ability et chaque skill note une phrase entrante selon deux niveaux — un niveau ability (jetons, phrases, alias, exemples) et un niveau skill (titre, résumé, invocation, phrases d’éligibilité) — et si un candidat franchit un seuil et devance tous les autres d’une marge, Mary l’envoie sans aucun tour de modèle. Le raccourci est du vrai travail évité, non du travail caché.
Répétition du routage : regarder le routeur penser
Voici l’outil qui rend cette affirmation vérifiable au lieu d’être simplement posée, exécuté sur la phrase « Play the RAO playlist » :
Le commentaire d’en-tête du fichier derrière cet écran dit directement l’essentiel : pas une simulation. La feuille de répétition ne modélise pas ce que ferait le routeur — elle appelle exactement les mêmes fonctions que la boucle de tour, sur le registre actif à cet instant. L’estampille registry 41398F89 en est le reçu : les index sont construits une fois au rechargement, donc une modification faite ici est inerte jusqu’à ce que vous enregistriez et que le registre se reconstruise. Répétez avant d’enregistrer et vous testez le routeur qui fait réellement tourner votre Mac, non une copie.
Deux seuils gouvernent cet écran. Le seuil (floor), 0,62, est l’affinité minimale pour qu’un embedding ait une opinion qui mérite qu’on agisse ; en dessous, un candidat est hors du tableau, pas seulement improbable. La marge, 0,04, est l’espace dégagé dont le leader a besoin sur le second avant que Mary ne fasse assez confiance à l’embedding pour sauter le modèle, et les deux s’appliquent aux deux niveaux. Pour « Play the RAO playlist », play_playlist franchit le seuil à 0,76 avec shuffle_playlist dix points derrière — bien au-delà de la marge — et multimedia fait de même au niveau ability, 0,81 contre un champ qui n’atteint jamais 0,62. Deux niveaux nets, un gagnant chacun : « Mary répond avec Play a Playlist, sans aucun tour de modèle. »
Le panneau de droite explique pourquoi cela compte au-delà de Mary. Quand deux skills au sein d’une même ability commencent à se gêner, l’instinct est de resserrer les phrases de l’ability — le champ où vous veniez d’être dans le panneau Tune — mais les phrases, les alias et les exemples n’alimentent que le niveau ability, et deux skills qui partagent une ability partagent ce signal par construction ; aucun réglage au niveau de l’ability ne les atteint donc. Le seul levier qui y parvient est une fixture : une phrase rédigée, écrite directement dans le corpus propre à ce skill, la donnée réelle du niveau skill plutôt qu’un substitut. C’est la forme que j’aimerais voir d’autres architectures d’usage de l’ordinateur emprunter — une couche bon marché, rédigée, inspectable pour le routage que l’on peut spécifier à l’avance, le modèle gardé en réserve pour ce qu’il ne peut pas résoudre, et une boucle de répétition qui vous montre quel levier a de la portée avant que vous ne passiez un après-midi à tirer sur le mauvais.