Architecture ML
Machines à états linguistiques
Pourquoi la capacité devait cesser d’être de la prose.
J’ai passé la plus grande partie d’une année à construire des logiciels autour de modèles de langage, et l’idée qui a changé ce que je construisais ne portait pas du tout sur les modèles. C’était une reclassification. Quelque part entre la troisième et la quatrième réécriture du système de capacités de Mary, j’ai cessé de considérer le modèle comme un agent que j’instruisais et j’ai commencé à le considérer comme une machine que je ne parvenais pas à programmer.
Un modèle de langage est une machine à états linguistique : son état est une séquence de tokens, sa fonction de transition est l’inférence, et son alphabet est le langage naturel. Il n’a aucun autre état, aucune autre entrée et aucun canal privilégié.
Chaque mot y travaille, mais la dernière proposition est celle qui vous coûte. Il n’y a pas de canal privilégié. Une machine à états sur le langage naturel accepte n’importe quelle chaîne comme entrée légale — c’est exactement la propriété qui la rend utile, et exactement la propriété qui la rend impossible à programmer par les moyens auxquels nous recourons d’ordinaire. Vous ne pouvez pas lui remettre une configuration, parce qu’elle n’a nulle part où la ranger. Vous ne pouvez que lui remettre davantage d’alphabet.
La fenêtre de contexte est le ruban
Suivez ce cadrage d’un pas et quelque chose d’inconfortable en tombe.
Si le modèle est la machine et le langage l’alphabet, alors la fenêtre de contexte est le ruban d’entrée, et tout ce qui est sur le ruban a le même type. Le prompt système est une chaîne. Le message de l’utilisateur est une chaîne. Un document récupéré ailleurs est une chaîne. Et un SKILL.md chargé parce que le routeur l’a jugé pertinent est une chaîne.
Ils ne sont pas les mêmes dans l’intention — l’auteur du prompt système l’entendait comme une loi, et le document récupéré ne voulait rien dire du tout. Mais l’intention n’est pas une propriété que la machine sait lire. La machine lit la position et le contenu. Le statut pratique d’un fichier de skill n’est donc pas « une configuration sous laquelle le modèle s’exécute » ; c’est un symbole d’entrée qui se trouve être formulé à l’impératif, en concurrence pour l’attention avec tous les autres symboles du ruban, y compris des symboles écrits par des gens qui ne sont pas vous.
C’est toute la critique, et elle est structurelle plutôt que qualitative. Un fichier de skill mieux écrit est un meilleur symbole d’entrée. C’est toujours un symbole d’entrée.
Ce que SKILL.md fait bien
Je veux être prudent ici, car la conception critiquée est véritablement une bonne conception.
La divulgation progressive — précharger à peu de frais les noms et les descriptions, charger le corps quand il devient pertinent, lire les fichiers plus profonds à la demande — est la bonne forme pour le problème qu’elle résout. Un fichier de skill bien écrit concentre mesurablement un modèle. Il est portable au sens qui compte le plus au quotidien : c’est un dossier, on peut le lire, le comparer par diff, l’envoyer par e-mail à quelqu’un. Comparé à l’alternative que la plupart des équipes livraient en 2024 — un énorme prompt système qui accumule des règles comme des sédiments — c’est une vraie avancée.
Donc quand je dis que SKILL.md était une démo, je l’entends au sens honnête du mot. Une démo prouve que l’intention est lisible. Elle a montré qu’on peut exprimer « voici un domaine et comment y travailler » sous une forme que le modèle saisit de façon fiable, et qu’on peut le faire sans étape de build ni runtime. C’est un résultat authentique, et c’est le résultat dont j’avais besoin avant de voir ce qui manquait.
Ce que ce n’est pas, c’est un harnais. Et la différence ne devient visible que lorsqu’on cesse de demander au modèle d’accomplir une tâche pour lui demander de manœuvrer une machine qui appartient à quelqu’un d’autre.
Quatre choses qu’un symbole sur le ruban ne peut pas être
Chacune est une conséquence du cadrage, non une plainte contre le markdown.
Il ne peut pas être retiré. La fonction de transition d’une machine à états consomme ce qui est sur le ruban ; il n’existe aucune opération qui « dé-lise » un symbole. Une fois qu’un corps de skill est entré dans la conversation, seul un compactage avec perte s’en débarrasse, et le compactage n’est pas une surface de contrôle — c’est une soupape de pression. Ce qui signifie que, dans ce modèle, la capacité est monotone : on peut ajouter, jamais soustraire. C’est une propriété étrange pour quoi que ce soit qu’on appellerait une installation.
Il ne peut pas résoudre une dépendance. Un fichier de skill peut dire « utilise le calendrier » mais il ne peut pas demander si un calendrier existe, s’activer quand il en apparaît un, ou se retirer quand il est supprimé. La composition se produit parce que le modèle a lu par hasard deux fichiers et a fait le lien. Ce n’est pas de la résolution ; c’est de la coïncidence avec de bonnes chances. Et la coïncidence avec de bonnes chances est exactement le genre de chose qui marche dans toutes les démos et échoue dans la longue traîne.
Il ne peut pas imposer. C’est le plus tranchant. Un symbole sur le ruban influence la prochaine transition — il ne contraint pas l’ensemble des transitions légales. La distinction semble académique jusqu’au jour où le modèle porte son attention ailleurs et fait ce que le fichier disait de ne pas faire ; on découvre alors que sa propriété de sûreté n’était qu’une phrase. L’écosystème le sait, c’est pourquoi les conseils pour tout ce qui doit arriver vous orientent vers un tout autre mécanisme.
Il ne peut pas être borné. Si la capacité arrive sous forme de prose, alors celui qui rédige la capacité écrit directement sur le ruban — et la question de confiance n’est plus « ce package se comporte-t-il bien » mais « ce texte est-il persuasif ». De la prose libre venue d’un tiers, mêlée au même canal que vos instructions, est une machine à blanchir l’autorité. Aucune revue ne transforme un texte arbitraire en contrat.
Le livre sur l’ambiant parcourt ce même territoire mécanisme par mécanisme, face à l’implémentation de Mary. Ce que je veux ici, c’est la dérivation, parce que c’est elle qui vous dit que le remède ne peut pas être « écrire de meilleurs fichiers de skill ».
Ce que le cadrage a imposé
La réponse de Mary est l’Ability,¹ et je n’ai pas abouti à sa conception par goût. Chaque décision est ce qui reste une fois qu’on accepte que le modèle est une machine à états qu’on ne peut pas configurer par son alphabet.
Le premier geste est celui dont tout le reste dépend : si vous ne pouvez pas mettre la configuration sur le ruban, mettez-la là où le ruban ne peut pas aller. La capacité vit entièrement hors du modèle — comme un package validé de données typées et bornées. Non pas de la prose qui plaide pour un comportement, mais des déclarations qu’un validateur peut accepter ou refuser avant même qu’une conversation commence. La documentation d’architecture de Mary énonce la règle sans détour : « Les schémas sont des données, jamais des extensions exécutables. » Une Ability déclare ce dont elle a besoin, quels effets elle peut avoir et sous quelles limites ; elle n’a pas le droit d’écrire une phrase que le modèle lirait comme une loi.
Le deuxième geste, c’est que le runtime décide de ce qui est exécutable, non le modèle. Le routage a lieu avant l’inférence : la capacité qui est seulement en jeu à ce tour est résolue par rapport à ce qui est réellement installé et prêt, et le modèle reçoit une liste qu’il n’a pas assemblée et ne peut pas réécrire. Cela inverse l’agencement habituel. Le modèle n’est plus un décideur persuadé par des documents — il est, pour emprunter la formule des propres notes de conception de Mary, plus proche d’« un compilateur de routines conditionné par un schéma, non d’un assistant conversationnel miniature. » Il propose des coups au sein d’un ensemble qui était borné avant qu’il ne parle.
Le troisième geste découle de la retirabilité. Si la capacité est une donnée résolue à chaque tour plutôt qu’un texte accumulé dans une conversation, alors décharger, c’est simplement l’absence de déclaration au tour suivant. Retirez le package et le Skill a disparu — pas compacté, pas persistant dans un résumé. Et une dépendance non satisfaite n’est pas une erreur mais une dormance : la capacité existe et n’est simplement pas disponible pour le moment, ce qui est le comportement vers lequel tous les autres systèmes composables ont convergé il y a des décennies.
Le quatrième est plus subtil, et c’est celui auquel je tiens le plus. Les Abilities déclarent un paradigme — qu’elles encodent un savoir-faire portable ou une expertise dans une application précise. Le schéma le dit simplement : on peut être bon en design et expert dans Sketch, tout en étant bon en design et amateur dans Figma. La séparation compte parce qu’elle décide de ce sur quoi porte la personnalisation. Votre façon d’écrire est un fait sur votre écriture, non sur l’éditeur dans lequel vous avez écrit — elle voyage donc vers une application qui n’existait pas quand le système l’a apprise. On n’obtient cela que si la capacité est structurée. La prose ne peut être indexée par rien, parce que la prose n’a pas de clés.
La partie qui n’est pas une critique
Rien de cela ne dit que l’idée du fichier de skill était fausse. Cela dit qu’elle répondait à une autre question — comment donner à un modèle une documentation de référence approfondie à la demande — et y répondait bien. La question à laquelle je suis arrivé était comment construire un harnais computationnel autour d’une machine dont la seule entrée est le langage, de sorte que le non-déterminisme de la machine soit borné plutôt que cru sur parole.
Ces questions ont des réponses différentes, et les confondre, c’est ainsi qu’on finit par livrer quelque chose qui fait une démo magnifique et qu’on ne peut pas exploiter. Le signe est toujours le même : si ce qui empêche un mauvais résultat est une phrase, vous n’avez pas de harnais. Vous avez un espoir bien formulé.
La reclassification est ce que je garderais si je ne pouvais garder qu’une seule chose de l’année passée. Traitez le modèle comme une machine à états linguistique et les questions d’architecture se répondent d’elles-mêmes dans le bon ordre — ce qu’est l’état, ce qu’est l’entrée, qui possède la fonction de transition, et lesquels de ces éléments un auteur de package a le droit de toucher. La réponse à la dernière, il s’avère, est aucun d’entre eux.
On ne programme pas une machine à états en écrivant dans son alphabet ; on finit simplement par se disputer avec elle.