ML-Architektur
Linguistische Zustandsautomaten
Darüber, warum Fähigkeit aufhören musste, Prosa zu sein.
Ich habe fast ein Jahr damit verbracht, Software rund um Sprachmodelle zu bauen, und die eine Idee, die verändert hat, was ich baute, hatte gar nichts mit Modellen zu tun. Es war eine Umklassifizierung. Irgendwo zwischen dem dritten und vierten Neuschreiben von Marys Fähigkeitssystem hörte ich auf, das Modell als Agenten zu betrachten, den ich anweise, und begann, es als eine Maschine zu betrachten, die ich nicht zu programmieren vermochte.
Ein Sprachmodell ist ein linguistischer Zustandsautomat: Sein Zustand ist eine Folge von Tokens, seine Übergangsfunktion ist die Inferenz, und sein Alphabet ist natürliche Sprache. Es hat keinen anderen Zustand, keine andere Eingabe und keinen privilegierten Kanal.
Jedes Wort dort leistet Arbeit, aber der letzte Teilsatz ist der, der Sie etwas kostet. Es gibt keinen privilegierten Kanal. Ein Zustandsautomat über natürlicher Sprache akzeptiert jede Zeichenkette als zulässige Eingabe – genau diese Eigenschaft macht ihn nützlich, und genau diese Eigenschaft macht ihn mit den Mitteln unprogrammierbar, nach denen wir gewöhnlich greifen. Sie können ihm keine Konfiguration übergeben, weil er keinen Platz hat, sie abzulegen. Sie können ihm nur mehr Alphabet übergeben.
Das Kontextfenster ist das Band
Folgen Sie dieser Rahmung einen Schritt, und etwas Unbequemes fällt heraus.
Wenn das Modell die Maschine ist und Sprache das Alphabet, dann ist das Kontextfenster das Eingabeband, und alles auf dem Band hat denselben Typ. Der System-Prompt ist eine Zeichenkette. Die Nachricht des Nutzers ist eine Zeichenkette. Ein von irgendwo anders abgerufenes Dokument ist eine Zeichenkette. Und eine SKILL.md, die geladen wurde, weil der Router sie für relevant hielt, ist eine Zeichenkette.
Sie sind nicht der Absicht nach gleich – der Autor des System-Prompts meinte ihn als Gesetz, und das abgerufene Dokument meinte überhaupt nichts. Aber Absicht ist keine Eigenschaft, die die Maschine lesen kann. Die Maschine liest Position und Inhalt. Der praktische Status einer Skill-Datei ist also nicht „Konfiguration, unter der das Modell läuft“; sie ist ein Eingabesymbol, das zufällig im Imperativ formuliert ist, das mit jedem anderen Symbol auf dem Band um Aufmerksamkeit konkurriert, auch mit Symbolen, die von Menschen geschrieben wurden, die nicht Sie sind.
Das ist die ganze Kritik, und sie ist strukturell, nicht qualitativ. Eine besser geschriebene Skill-Datei ist ein besseres Eingabesymbol. Sie ist immer noch ein Eingabesymbol.
Was SKILL.md richtig macht
Ich möchte hier vorsichtig sein, denn das kritisierte Design ist wirklich gutes Design.
Progressive Offenlegung – Namen und Beschreibungen günstig vorladen, den Rumpf laden, wenn er relevant wird, tiefere Dateien auf Abruf lesen – ist die richtige Form für das Problem, das sie löst. Eine gut geschriebene Skill-Datei fokussiert ein Modell messbar. Sie ist portabel in dem Sinn, der im Alltag am meisten zählt: Sie ist ein Ordner, Sie können sie lesen, Sie können sie diffen, Sie können sie jemandem mailen. Verglichen mit der Alternative, die die meisten Teams 2024 auslieferten – ein riesiger System-Prompt, der Regeln wie Sediment ansetzt –, ist sie ein echter Fortschritt.
Wenn ich also sage, SKILL.md war eine Demo, meine ich das im ehrlichen Sinn des Wortes. Eine Demo beweist, dass die Absicht lesbar ist. Sie zeigte, dass man „Hier ist ein Gebiet und wie man darin arbeitet“ in einer Form ausdrücken kann, die das Modell zuverlässig aufnimmt, und dass man das ohne Build-Schritt oder Laufzeit tun kann. Das ist ein echtes Ergebnis, und es ist das Ergebnis, das ich brauchte, bevor ich sehen konnte, was fehlte.
Was sie nicht ist, ist ein Harness. Und der Unterschied wird erst sichtbar, wenn man aufhört, das Modell zu bitten, eine Aufgabe zu erledigen, und anfängt, es zu bitten, eine Maschine zu bedienen, die jemand anderem gehört.
Vier Dinge, die ein Symbol auf dem Band nicht sein kann
Jedes davon ist eine Folge der Rahmung, keine Beschwerde über Markdown.
Es kann nicht entfernt werden. Die Übergangsfunktion eines Zustandsautomaten verbraucht, was auf dem Band steht; es gibt keine Operation, die ein Symbol ungelesen macht. Sobald ein Skill-Rumpf in die Unterhaltung eingetreten ist, wird man ihn nur durch verlustbehaftete Verdichtung wieder los, und Verdichtung ist keine Steuerfläche – sie ist ein Druckventil. Das heißt, Fähigkeit ist in diesem Modell monoton: Man kann hinzufügen, nie abziehen. Das ist eine seltsame Eigenschaft für alles, was man eine Installation nennen würde.
Es kann keine Abhängigkeit auflösen. Eine Skill-Datei kann sagen „nutze den Kalender“, aber sie kann nicht fragen, ob ein Kalender existiert, sich aktivieren, wenn einer auftaucht, oder zurücktreten, wenn er entfernt wird. Komposition geschieht, weil das Modell zufällig zwei Dateien gelesen und die Verbindung gezogen hat. Das ist keine Auflösung; das ist Zufall mit guten Chancen. Und Zufall mit guten Chancen ist genau die Art Ding, die in jeder Demo funktioniert und im langen Schwanz scheitert.
Es kann nichts durchsetzen. Das ist das Schärfste. Ein Symbol auf dem Band beeinflusst den nächsten Übergang – es beschränkt nicht die Menge der zulässigen Übergänge. Der Unterschied klingt akademisch, bis zu dem Tag, an dem das Modell woandershin schaut und das tut, was die Datei zu tun verbot, und man entdeckt, dass die Sicherheitseigenschaft ein Satz war. Das Ökosystem weiß das, weshalb die Anleitung für alles, was passieren muss, auf einen ganz anderen Mechanismus verweist.
Es kann nicht begrenzt werden. Wenn Fähigkeit als Prosa ankommt, schreibt wer immer die Fähigkeit verfasst direkt auf das Band – und die Vertrauensfrage lautet dann nicht „Verhält sich dieses Paket gut?“, sondern „Ist dieser Text überzeugend?“. Freie Prosa eines Dritten, im selben Kanal wie Ihre Anweisungen gemischt, ist eine Maschine zur Autoritätswäsche. Keine Menge an Prüfung macht aus beliebigem Text einen Vertrag.
Das Ambient-Buch geht dasselbe Gelände Mechanismus für Mechanismus ab, gegen Marys Implementierung. Hier will ich die Herleitung, denn die Herleitung sagt Ihnen, dass die Lösung nicht lauten kann: „bessere Skill-Dateien schreiben“.
Was die Rahmung erzwang
Marys Antwort ist die Ability,¹ und ich bin nicht aus Geschmack zu ihrem Design gelangt. Jede Entscheidung ist das, was übrig bleibt, wenn man akzeptiert, dass das Modell ein Zustandsautomat ist, den man nicht über sein Alphabet konfigurieren kann.
Der erste Zug ist der, an dem alles andere hängt: Wenn man Konfiguration nicht auf das Band legen kann, legt man sie dorthin, wo das Band nicht hinkommt. Fähigkeit lebt vollständig außerhalb des Modells – als validiertes Paket aus typisierten, begrenzten Daten. Keine Prosa, die für Verhalten argumentiert, sondern Deklarationen, die ein Validator annehmen oder ablehnen kann, bevor eine Unterhaltung überhaupt beginnt. Marys Architekturdokumente nennen die Regel unverblümt: „Schemas are data, never executable extensions.“ Eine Ability deklariert, was sie braucht, welche Wirkungen sie haben darf und unter welchen Grenzen; sie darf keinen Satz schreiben, den das Modell als Gesetz liest.
Der zweite Zug ist, dass die Laufzeit entscheidet, was ausführbar ist, nicht das Modell. Das Routing geschieht vor der Inferenz: Welche Fähigkeit in diesem Zug überhaupt im Spiel ist, wird gegen das aufgelöst, was tatsächlich installiert und bereit ist, und das Modell bekommt eine Besetzung, die es nicht zusammengestellt hat und nicht umschreiben kann. Das kehrt die übliche Anordnung um. Das Modell ist nicht länger ein von Dokumenten überredeter Entscheider – es ist, um die Formulierung aus Marys eigenen Designnotizen zu borgen, näher an „a schema-conditioned routine compiler, not a miniature conversational assistant.“ Es schlägt Züge innerhalb einer Menge vor, die begrenzt war, bevor es sprach.
Der dritte Zug folgt aus der Entfernbarkeit. Wenn Fähigkeit Daten sind, die pro Zug aufgelöst werden, statt Text, der sich in einer Unterhaltung ansammelt, dann ist Entladen nur das Fehlen einer Deklaration im nächsten Zug. Entfernen Sie das Paket, und der Skill ist weg – nicht wegverdichtet, nicht in einer Zusammenfassung verweilend. Und eine unerfüllte Abhängigkeit ist kein Fehler, sondern ein Ruhezustand: Die Fähigkeit existiert und ist gerade nur nicht verfügbar, was das Verhalten ist, auf das jedes andere komponierbare System vor Jahrzehnten zugelaufen ist.
Der vierte ist subtiler, und an ihm hänge ich am meisten. Abilities deklarieren ein Paradigma – ob sie ein portables Handwerk oder Expertise in einer bestimmten Anwendung kodieren. Das Schema sagt es klar: Man kann gut im Design und Experte in Sketch sein und zugleich gut im Design und Amateur in Figma. Die Trennung ist wichtig, weil sie entscheidet, wovon Personalisierung eine Tatsache ist. Wie Sie schreiben, ist eine Tatsache über Ihr Schreiben, nicht über den Editor, in dem Sie zufällig geschrieben haben – sie wandert also in eine Anwendung, die es noch nicht gab, als das System sie lernte. Das bekommt man nur, wenn Fähigkeit strukturiert ist. Prosa lässt sich durch nichts indizieren, weil Prosa keine Schlüssel hat.
Der Teil, der keine Kritik ist
Nichts davon sagt, die Idee der Skill-Datei sei falsch gewesen. Es sagt, sie beantwortete eine andere Frage – wie gebe ich einem Modell bei Bedarf tiefes Referenzmaterial – und beantwortete sie gut. Die Frage, bei der ich landete, war: Wie baue ich ein Rechen-Harness um eine Maschine, deren einzige Eingabe Sprache ist, sodass der Nichtdeterminismus der Maschine begrenzt statt vertraut wird.
Diese Fragen haben verschiedene Antworten, und sie zu vermengen ist der Weg, etwas auszuliefern, das hervorragend demonstriert und sich nicht bedienen lässt. Das Erkennungszeichen ist immer dasselbe: Wenn das, was ein schlechtes Ergebnis verhindert, ein Satz ist, haben Sie kein Harness. Sie haben eine gut formulierte Hoffnung.
Die Umklassifizierung ist das, was ich behalten würde, wenn ich aus dem vergangenen Jahr nur eines behalten dürfte. Behandeln Sie das Modell als linguistischen Zustandsautomaten, und die Architekturfragen beantworten sich in der richtigen Reihenfolge von selbst – was ist Zustand, was ist Eingabe, wem gehört die Übergangsfunktion, und welches davon darf ein Paketautor anfassen. Die Antwort auf die letzte lautet, wie sich zeigt, keines davon.
Man kann einen Zustandsautomaten nicht programmieren, indem man auf sein Alphabet schreibt; man streitet am Ende nur mit ihm.