HCI

Ambient Abilities

2. September 2026hcimacosAgentenRoutingembeddingscomputer-use

Ein Feldbericht von der Authoring-Oberfläche des Ambient-Assistenten und von der Routing-Frage darunter.

Der Assistent, über den ich in diesem Blog schreibe, hat einen neuen Namen. Bonnie heißt jetzt Mary – eine Neuarchitektur, kein Rebranding: dieselben Verpflichtungen (Accessibility-Baum als Grundwahrheit, ein Gedächtnis, das dem Nutzer gehört, Aktionen, die einen Beleg hinterlassen), auf ihre tragende Form zurückgeschnitten. Das meiste, was sich mit der Umbenennung ändert, ist intern. Was sich nicht ändert, ist die Wette darunter: Mary eine neue Anwendung beizubringen darf nie erfordern, Swift zu schreiben.

Diese Idee lebt in einem Bildschirm, dem Ability Studio, und ich möchte ihn in der Reihenfolge durchgehen, in der ich zuletzt tatsächlich darin gelebt habe – ein Recipe, die Ability, zu der es gehört, ein Skill in dieser Ability und dann der Teil, den ich für die interessanteste Ingenieursarbeit der ganzen App halte: das Werkzeug, mit dem ich proben kann, wie ein Satz geroutet wird, bevor er je ein Modell erreicht.

Ein Recipe ist ein Makro mit einem Argument

Das ist „Pair Program“, ein Recipe, das ich gebaut habe, um einen Diff zu prüfen, ohne ein Terminal zu öffnen:

Ein Recipe verkettet Skills zu einem Schritt, den man Mary direkt abverlangen kann – die eigenen Skills dieser Ability oder die einer beliebigen installierten Ability. „Pair Program“ liest die aktuelle Datei, liest das Symbol unter dem Cursor, holt die Projektgliederung und übergibt dann an Mary selbst, die die minimale Änderung plant, bevor „Coding“ sie ausführt und eine Build-Prüfung laufen lässt, und schließlich erklärt Mary, was sich geändert hat. Zwei dieser sieben Schritte sind überhaupt nicht an einen Adapter gebunden – sie gehören Mary, nicht einer Ability, was die Art des Recipes ist zu sagen: „Hier findet Reasoning statt, mechanisch gebundene Tool-Aufrufe überall sonst.“ Ein Recipe ist kein Skript, das nur Werkzeuge aufruft; es ist eine Abfolge, die die Kontrolle an das Modell zurückgeben und wieder übernehmen kann.

Es ist außerdem als Branching markiert, und die Beschriftung spricht das Unausgesprochene aus: Dieses Recipe erholt sich bei Fehlern, daher wird seine Reihenfolge unter „Advanced“ bearbeitet. Die Schritte, die Sie sehen, sind keine strikte Pipeline von oben nach unten – sie sind ein Graph mit Wiederherstellungskanten, und die lineare Liste ist seine lesbare Projektion. Und unten deklariert ein Recipe seinen eigenen Vertrag, genau wie ein Skill: task · string · required. Dieses Detail ist wichtiger, als es aussieht – ein Recipe ist nicht die Dokumentation eines Verfahrens, sondern eine aufrufbare Fähigkeit mit typisierter Signatur, für alles, was sie aufruft, nicht von einem einzelnen Skill zu unterscheiden.

Abilities sind die Einheit, die Sie tatsächlich beibringen

Eine Ebene herausgezoomt, erhalten Sie den Bildschirm, in dem das Recipe lebt – das Ability Studio, geöffnet auf der Apple Music-Ability:

Eine Ability ist eine portable Familie von Verhalten und Betriebsrichtlinie. Sie deklariert ein Paradigma – Apple Music ist applicationExpertise, eines von vieren (die anderen sind discipline, systemControl und reasoning) – und sie kann eine andere Ability erweitern. Apple Music erweitert Multimedia, eine Disziplin: Die allgemeine Gestalt von „etwas, das Medien abspielt“ wird einmal definiert, und Apple Music verwirklicht sie für eine bestimmte App. Die Seitenleiste zeigt den Rest der Besetzung unter derselben Regel – Coding und Writing als Disziplinen, Chrome, Safari und Scrivener als Anwendungsexpertise, Window Management als Systemsteuerung.

Das Tune-Panel rechts ist der Teil, bei dem es sich lohnt zu verweilen, denn es sieht aus wie Dokumentation und ist keine. Summary, Listens for, Phrases, Not when, Also called, Sounds like – jedes dieser Felder besteht aus begrenzten, strukturierten Daten, die Teil des Embedding-Korpus der Ability werden. Es gibt hier keinen frei formulierten System-Prompt zum Handtunen und kein Fine-Tuning, das man anstoßen müsste. Mary beizubringen, dass „in der Musik-App“ Apple Music bedeutet, ist dieselbe Art Änderung wie das Hinzufügen einer Zeile in einer Tabellenkalkulation. Genau das macht eine Ability zu etwas, das auch ein Nicht-Ingenieur erweitern kann: Die Oberfläche, die Sie anfassen dürfen, ist genau die Oberfläche mit semantischer Reichweite, nicht mehr, und darunter ist nichts verborgen.

Darunter macht die Skills-Zeile die Komposition explizit: Apple Music verwirklicht, was es erweitert – Say What's Playing, Control Playback, Search the Catalog, Play a Song, Open the Player –, dann setzt sich der Baum über die Grenze der Ability hinaus fort: Multimedia ist das, was sie erweitert, Window Management ist das, womit sie unterstützt wird, sieben Skills' worth. Vertikale Komposition (extends) und horizontale Komposition (supporting) werden als dieselbe Art Linie gezeichnet, weil sie für den Router gleich aufgelöst werden. Und die Fußzeile ist ehrlich über den Zustand der Dinge, ohne alarmierend zu sein: Active · 4 advisories · saving creates a local override. Das Bearbeiten einer mitgelieferten Ability verändert nie das gemeinsame Original – es verzweigt in etwas Lokales, und die Hinweise sagen Ihnen, was unvollständig ist, bevor Sie es zur Laufzeit herausfinden.

Ein Skill ist das atomare Ding, das tatsächlich läuft

Eine Ebene tiefer, eine einzelne Skill-Karte, zur Prüfung geöffnet:

Say What's Playing ist now_playing und als READY markiert. Seine Tags sind sein eigentlicher Vertrag: acts, runs unasked, Media Surface, from Multimedia. „Runs unasked“ ist eine deklarierte Eigenschaft, keine Vermutung, die das Modell zur Inferenzzeit trifft – es bedeutet, dass genau dieser Skill sich ungefragt zu Wort melden darf, und das ist der Unterschied zwischen einem Assistenten, der Fragen beantwortet, und einem, der wirklich ambient ist. „Media Surface“ benennt den generischen Adapter darunter: Derselbe kompilierte Provider, der „Was läuft gerade?“ für Apple Music beantwortet, beantwortet es auch für jede andere App, die Wiedergabesteuerung zeigt, die der Accessibility-Baum sehen kann, und das ist der ganze Grund, warum Multimedia eine Disziplin sein darf statt fünf Kopien desselben Skills. Sie können genau diese Karte mit einem Klick in ein Recipe ziehen oder direkt zur Multimedia-Ability springen, die er tatsächlich umsetzt. Nichts an der Skill-Karte ist eine Vorschau des Verhaltens – es sind die eigenen Metadaten des Verhaltens, prüfbar, weil sie nie etwas anderes waren.

Das Problem, das nichts davon allein löst

Abilities und Skills geben Ihnen ein Vokabular. Sie beantworten nicht von sich aus die Frage, die jede Computer-Use-Architektur irgendwann beantworten muss: Welches dieser hundert Dinge führen Sie aus, gegeben das, was die Person gerade gesagt hat?

Die naheliegende Antwort – dem Modell einen System-Prompt geben, der jedes Werkzeug auflistet, und es in jedem einzelnen Zug entscheiden lassen – ist die, mit der die meisten Agenten-Frameworks ausgeliefert werden, und sie hat Kosten, die mit der Größe der Besetzung wachsen. Jeder Zug zahlt eine volle Modellrunde nur dafür, herauszufinden, wohin es gehen soll, bevor irgendein eigentliches Reasoning stattfindet. Und die Entscheidung ist nur so nachvollziehbar, wie das, was die Gedankenkette des Modells diesmal zufällig gesagt hat, also: nicht sehr. Wächst Marys Ability-Besetzung, wird dieser Pfad langsamer und weniger prüfbar, genau in dem Maß, in dem er schneller und prüfbarer werden sollte.

Marys Antwort ist, dem Router eine eigene Meinung zu geben, getrennt von der des Modells, aufgebaut aus denselben verfassten Daten, die Sie im Tune-Panel gesehen haben. Jede Ability und jeder Skill bewertet einen eingehenden Satz auf zwei Ebenen – einer Ability-Ebene (Tokens, Phrasen, Aliase, Exemplare) und einer Skill-Ebene (Titel, Zusammenfassung, Aufruf, Eignungsphrasen) –, und wenn ein Kandidat eine Schwelle überschreitet und alle anderen mit einem Abstand schlägt, schickt Mary ihn ganz ohne Modellrunde ab. Die Abkürzung ist tatsächlich übersprungene Arbeit, nicht versteckte Arbeit.

Routing-Probe: dem Router beim Denken zusehen

Das ist das Werkzeug, das diese Behauptung prüfbar statt behauptet macht, ausgeführt gegen den Satz „Play the RAO playlist“:

Der Kopfkommentar der Datei hinter diesem Bildschirm sagt das Wichtige direkt: keine Simulation. Das Probeblatt modelliert nicht, was der Router tun würde – es ruft exakt dieselben Funktionen auf, die die Zug-Schleife aufruft, gegen die Registry, die gerade aktiv ist. Der Stempel registry 41398F89 ist der Beleg dafür: Indizes werden einmal beim Neuladen gebaut, eine Änderung, die Sie hier vornehmen, bleibt also wirkungslos, bis Sie speichern und die Registry neu aufgebaut wird. Wer vor dem Speichern probt, testet den Router, der tatsächlich Ihren Mac antreibt, nicht eine Kopie davon.

Zwei Schwellen steuern diesen Bildschirm. Die Floor, 0,62, ist die minimale Affinität, ab der ein Embedding eine Meinung hat, nach der sich zu handeln lohnt – darunter ist ein Kandidat aus dem Rennen, nicht nur unwahrscheinlich. Die Margin, 0,04, ist der Abstand, den der Führende zum Zweitplatzierten braucht, bevor Mary dem Embedding genug traut, um das Modell zu überspringen, und beide gelten auf beiden Ebenen. Bei „Play the RAO playlist“ übersteigt play_playlist die Floor mit 0,76, mit shuffle_playlist zehn Punkte dahinter – weit außerhalb der Margin –, und multimedia tut dasselbe auf der Ability-Ebene, 0,81 gegen ein Feld, das 0,62 nie erreicht. Zwei saubere Ebenen, je ein Gewinner: „Mary antwortet mit Play a Playlist, ganz ohne Modellrunde.“

Das rechte Panel zeigt, warum das über Mary hinaus wichtig ist. Wenn zwei Skills innerhalb einer Ability sich gegenseitig bedrängen, ist der Instinkt, die Phrasen der Ability zu schärfen – das Feld, in dem Sie eben im Tune-Panel waren –, doch Phrasen, Aliase und Exemplare speisen nur die Ability-Ebene, und zwei Skills, die sich eine Ability teilen, teilen dieses Signal konstruktionsbedingt, sodass keine Abstimmung auf Ability-Ebene sie erreicht. Der einzige Hebel, der es tut, ist eine Fixture: ein verfasster Satz, der direkt in den eigenen Korpus dieses einen Skills geschrieben wird, die tatsächlichen Daten der Skill-Ebene statt eines Stellvertreters dafür. Das ist die Form, die ich mir von anderen Computer-Use-Architekturen abgeschaut wünschte – eine günstige, verfasste, prüfbare Schicht für das Routing, das sich vorab spezifizieren lässt, das Modell in Reserve für alles, was es nicht auflösen kann, und eine Probeschleife, die zeigt, welcher Hebel Reichweite hat, bevor Sie einen Nachmittag damit verbringen, am falschen zu ziehen.