Vision d’avenir
Quand la fédération rencontre Mary
Le tuyau est construit par des gens qui ont des années de cryptographie derrière eux. Les étages qui se trouvent en dessous, personne ne les construit.
J’ai laissé une question ouverte dans Ambient Learning : que devient la fédération quand elle cesse d’être un coin de la recherche pour devenir une simple infrastructure, comme l’ont fait HTTPS et les conteneurs ? Le projet qui m’a appris l’idée est FATE ; ceci est donc une prévision bâtie sur lui, et le récit de la façon dont Mary, le parapluie sous lequel je construis tout le reste, peut faire le même travail en partant de l’appareil.
(Rédigé avec l’aide d’une IA à partir de mes propres dépôts et du README et des articles publics de FATE, puis édité par moi. Les projets et les idées sont les miens.)
FATE, dans ses propres mots
FATE, le Federated AI Technology Enabler, se présente comme « le premier framework open source d’apprentissage fédéré de niveau industriel, destiné à permettre aux entreprises et aux institutions de collaborer sur des données tout en protégeant leur sécurité et leur vie privée ».¹ Il est sous licence Apache-2.0, hébergé par la Linux Foundation, et a été lancé par l’AI Group de WeBank.² Il « met en œuvre des protocoles de calcul sécurisé fondés sur le chiffrement homomorphe et le calcul multipartite (MPC) », et fournit ce dont un déploiement a besoin : FATE-Flow planifie les tâches entre les parties, FATE-Board inspecte les modèles, FATE-Serving les sert, KubeFATE le déploie sur Kubernetes.
FATE-LLM l’étend aux modèles de langage, avec un entraînement économe en paramètres et une méthode appelée FedIPR pour protéger la propriété intellectuelle des modèles.³ L’une de ses méthodes, FedMKT, fait circuler les connaissances dans les deux sens entre de petits modèles sur les clients et un grand modèle sur un serveur.⁴ C’est une idée dont j’ai déjà parlé, à savoir que l’intelligence décentralisée centralise la croissance pour l’ensemble, qui apparaît dans la base de code de quelqu’un d’autre. Le nom de WeBank traverse aussi la recherche : l’état de l’art de 2019 qui a posé l’apprentissage fédéré horizontal, vertical et par transfert,⁵ l’article du JMLR de 2021,⁶ et les articles sur FATE-LLM et FedMKT.⁴,⁷
La forme, en une ligne : le modèle voyage vers les données, et les données restent où elles sont. Le README ne nomme aucun utilisateur, je n’en nommerai donc pas non plus. Dans ce billet, « grand public » est une hypothèse, pas un constat.
Ce qui change si c’est devenu ordinaire
1. Les données cessent d’être achetées et commencent à être jointes. Une copie ne peut pas être dé-copiée. Si l’entraînement se fait entre plusieurs parties sans que les lignes bougent, ce qui vaut la peine d’être échangé, c’est une place dans un calcul, pas un fichier, et celui qui possède des données qu’on ne peut pas lui copier gagne un pouvoir de négociation qu’il n’avait jamais eu.
2. « Les données ne sont jamais parties » devient l’affirmation que chacun doit prouver. La finance, la santé et le secteur public bougent en premier, parce que leurs règles disent déjà où les données peuvent résider. Dès que tout le monde le dit, les auditeurs demandent des preuves, et un système fédéré est difficile à vérifier de l’extérieur : personne ne voit les données, y compris celui qui contrôle. Ce qu’il reste à inspecter, c’est le reçu.
3. Le crédit devient plus difficile à établir, pas plus facile. C’est le point que je soulignerais. L’entraînement fédéré fond les contributions de nombreuses parties en un seul modèle, et le calcul sécurisé garde chaque contribution illisible pour les autres. C’est son but, et c’est l’opposé de ce dont l’attribution a besoin. J’ai cherché dans le README les mots attribution, redevances, crédit, paiements et consentement, et je n’en ai trouvé aucun. C’est un autre métier, pas un défaut, mais cela signifie qu’un monde fédéré hérite de l’Attribution Decay comme d’une propriété de sa conception.
4. Les audits passent des données au modèle. Un jeu de données qui n’a jamais été assemblé en un seul endroit ne peut pas être inspecté en un seul endroit. Ce qui reste, c’est ce que le modèle fait : peut-il reproduire une ressemblance protégée, mémorise-t-il.
5. La personne reste une ligne. Les parties de FATE sont des « entreprises et institutions », et son article de 2021 nomme sa cible « applications de données inter-silos ».⁶ Une banque rejoint la fédération, et ses clients sont des lignes dans le silo de la banque. La fédération protège les données d’une institution vis-à-vis d’une autre. Elle ne demande pas son avis à la personne.
Mary, de l’appareil vers le haut
Mary, c’est Mesh, Ambient, Realm, Yoke, et ces quatre mots sont la conception : un maillage de nœuds sans centre, ambiant par défaut pour fonctionner sans interrogatoire, un royaume pour chaque personne et chaque app (dans le code, une lane), et un joug qui les relie sans les fusionner. Elle couvre AII, Braid, Craft, Ambient et Veil.
Mary peut être FATE ; elle part simplement plus bas. FATE commence au silo d’une institution. Mary commence à un appareil et à la personne qui le possède, et y fait trois choses à la fois :
- Un sanctuaire. Les données sont stockées en privé sur l’appareil, dans une lane scellée par un secret. C’est AII.
- Un modèle à côté des données. Chaque appareil entraîne son propre modèle sur cette seule lane, de sorte que l’apprentissage reste aussi privé que les données. C’est un Thread de Braid.
- La fédération par-dessus. Les appareils se joignent à travers ce que leurs modèles ont appris, jamais à travers les données brutes, en visant le calcul sécurisé sur lequel FATE travaille depuis des années.
La pluie, c’est ce qui tombe sur des données sans toit. Construite à partir du sol, Mary peut aussi répondre à ce que la fédération laisse ouvert : à qui appartiennent les données qui ont fait ceci, et selon quelles règles ?
Ce que fait chaque couche
Le sanctuaire enregistre l’appartenance avant que quoi que ce soit ne soit fondu. L’agrégation fond d’abord et ne peut guère séparer ensuite. AII, l’Ambient Intelligence Index, enregistre d’abord, de sorte qu’il n’y a rien à séparer. La règle est d’enregistrer à qui appartient une chose avant qu’elle puisse être fondue avec quoi que ce soit, et dans AII c’est mécanique, pas une politique :
- La lane vient du secret. La lane d’un enregistrement est nommée par le secret de l’app qui l’a écrit, une lane envoyée par un client est ignorée, et la lane d’un document est fixée à vie.
- La fusion ne peut pas blanchir l’appartenance. Une modification du graphe est refusée à moins que tous les documents qui la sous-tendent se trouvent dans la lane de l’éditeur.
- Chaque passage garde son propriétaire, et chaque tour est tarifé. La récupération transporte le propriétaire et la partition de chaque résultat, et Sewn répartit chaque réponse entre les documents qu’elle a cités, selon le coût réel en tokens du tour, dans un portefeuille.
Ambient, Craft et Veil y classent tous leurs données, de sorte que la chaîne de crédit commence dès la première écriture.
Le modèle sur l’appareil ne fond pas les poids. L’entraînement fédéré demande comment fondre les contributions sans les exposer. Braid demande s’il faut vraiment les fondre. Son bien commun est un unique Mamba2 pré-entraîné que toutes les parties partagent et que personne n’entraîne. Chaque Thread est son propre modèle, entraîné à côté d’un seul corpus d’écrits (une lane AII, sur le même appareil) et jamais fusionné dans les poids d’un autre Thread. Ils sont mélangés à l’inférence, et pour chaque token Braid indique ce que chaque brin a fourni : des parts dont la somme est 1, chacune citée à un endroit de son propre Thread. Le compromis : un crédit exact, pas de modèle unique fusionné. Ne fondez pas ce que vous aurez besoin de créditer. La preuve est modeste : le 19 octobre, à 130 millions de paramètres avec des Threads de 40 documents, un Thread entraîné distinguait chaque fois les textes qu’il avait étudiés de ceux qu’il n’avait pas étudiés. C’est un jouet à côté d’un modèle de pointe, et je préfère le dire d’abord. L’histoire plus longue se trouve dans la série sur Braid.
Le sanctuaire donne une place à la personne. Ambient lit avec vous et répond à partir de ce que vous avez lu, en rassemblant les données d’une personne sur son propre appareil, dans sa propre lane. Si la personne doit devenir une partie, c’est l’interface où elle s’assiérait. Craft, un agent de code qui ne quitte jamais votre machine, a la même forme pour le jeu de données le plus gardé d’une entreprise, son code source : le modèle vient déjà aux données.
Il vérifie le modèle, pas les données. Veil interrompt un générateur d’images en pleine exécution quand il se met à copier une photo protégée, et nomme à qui appartenait la photo. En dessous, il se demande si un modèle est capable de produire une ressemblance, qu’il ait été entraîné dessus ou non. Quand les audits passent au modèle, une vérification qui n’a jamais eu besoin du jeu d’entraînement est de celles qui continuent de fonctionner. La version plus longue se trouve dans Scorpion and Veil.
Où FATE s’insère
Mary n’a pas encore de calcul sécurisé, et je ne reconstruirais pas celui de FATE : ce sont des années de cryptographie que FATE porte déjà. La couche supérieure de Mary est l’endroit où cette machinerie a sa place.
Les traits pleins existent aujourd’hui. Les pointillés sont des jonctions que je n’ai ni construites ni testées. La boîte grise est le travail de quelqu’un d’autre.
Si une pile fédérée arrivait demain, Mary se placerait en dessous : un sanctuaire et un Thread chez chaque partie, la comptabilité de Braid sur ce que produit la couche fédérée pour voir si le crédit survit, et un test à la manière de Veil sur le modèle qui en sort, puisque personne ne peut vérifier les données dont il vient.
La première expérience est précise. La tête d’un Thread est déjà la partie privée, propre à chaque partie, de Braid, séparée de la queue partagée. Savoir si la machinerie de FATE-LLM économe en paramètres peut faire passer cette tête par un tour fédéré, je ne l’ai pas testé. Je publierais le résultat dans les deux cas.
Ce qui n’est pas construit
Un billet sur les reçus qui cacherait ses propres lacunes serait une plaisanterie.
- Il n’y a aucun calcul sécurisé dedans. Ni chiffrement homomorphe, ni calcul multipartite, ni agrégation sécurisée, ni confidentialité différentielle, nulle part dans AII ou Braid. C’est la force de FATE, et la raison pour laquelle la couche supérieure de Mary est dessinée en pointillés.
- Tout tient sur une seule machine. Le cluster de Braid tourne dans un seul processus, et AII est un seul Mac en loopback. Relier l’index d’une personne à celui d’une autre est une conception, pas une fonctionnalité.
- Rien n’a été comparé à FATE par des benchmarks. Chaque « peut-il faire un tour ? » ci-dessus est une question, pas un résultat.
- STTP est une proposition, et MaryOS n’est pas public. Ni l’un ni l’autre ne s’installe.
Où cela mène
Aujourd’hui, chaque rail est la convention de quelqu’un. aii-record/1 est la mienne, le journal de session de Braid est le mien, FATE a le sien, et aucun ne parle aux autres. Les voies ferrées ne comptent qu’une fois permanentes, et ce qui les rend permanentes, c’est un protocole.
C’est STTP, le Semantic Token Transfer Protocol, et il n’a jamais concerné les mots. Tout ce qu’un appareil crée (une phrase, une fonction, les valeurs RVB d’une photographie) est préparé en tokens à cet instant, envoyé de pair à pair à qui doit le recevoir, et digéré par les modèles destinataires à son arrivée. C’est le problème que résout FATE, rendu continu et indifférent au type de données, et il hérite de la même question ouverte : comment de nombreuses machines contribuent-elles sans que l’une d’elles, ni aucun serveur, voie les valeurs brutes des autres ? FATE y répond par la cryptographie, et les travaux du IETF sur la Privacy Preserving Measurement sont ce que j’ai trouvé de plus proche d’une réponse. Ce que Mary ajoute, c’est la part qu’aucun des deux ne porte : chaque token garde sa lane et son reçu, de sorte que le crédit survit à la digestion. MaryOS, la variante Linux que je construis, est l’endroit où je teste un appareil qui arrive avec sa lane intégrée dès le premier démarrage.
STTP est la couche de fédération dans laquelle Mary grandirait : un seul écartement que toutes les machines acceptent, pour que le sanctuaire, le modèle et le tuyau roulent sur la même voie. Une lane chez chaque partie, un reçu à chaque token et un protocole entre les deux font des données quelque chose qui se joint, se crédite et se paie, au lieu de quelque chose qu’on prend. Sewn tarife déjà la part de chaque document dans une réponse, ce qui est la plus petite pièce d’un marché : un prix, un bénéficiaire et un enregistrement. Je pose des rails, je ne prédis pas les villes.
P.S.
Les détails sur FATE proviennent de son README et du dépôt FATE-LLM au 4 novembre 2026, de l’annonce de la Linux Foundation et des premières pages des articles cités ci-dessus, et les dépôts changent souvent. Les détails sur Mary proviennent des dépôts AII, Braid et Veil, du dépôt Mary (devenu privé depuis) et des pages produit à la même date, et MaryOS n’est décrit que dans la mesure où le dépôt Mary le décrit. Tout ce qui figure sous « Où FATE s’insère » est un plan, pas une fonctionnalité, et il en va de même pour STTP qui s’étendrait au-delà du texte à n’importe quel type de données : c’est une direction, pas un résultat.