Zukunftsvision
Wenn Föderation auf Mary trifft
Die Röhre wird von Leuten gebaut, die Jahre an Kryptografie hinter sich haben. Die Böden darunter sind der Teil, den niemand baut.
In Ambient Learning habe ich eine Frage offengelassen: Was passiert mit Föderation, wenn sie aufhört, eine Forschungsnische zu sein, und zu schlichter Infrastruktur wird, so wie HTTPS und Container? Das Projekt, von dem ich die Idee gelernt habe, war FATE. Dies ist also eine darauf aufbauende Prognose und ein Bericht darüber, wie Mary, der Schirm, unter dem ich alles andere baue, dieselbe Aufgabe vom Gerät aus erfüllen kann.
(Mit KI aus meinen eigenen Repositories und aus dem öffentlichen README und den Papers von FATE entworfen, dann von mir bearbeitet. Die Projekte und die Ideen sind meine.)
FATE, in eigenen Worten
FATE, der Federated AI Technology Enabler, nennt sich selbst „das weltweit erste Open-Source-Framework für föderiertes Lernen in Industriequalität, das Unternehmen und Institutionen ermöglicht, bei Daten zusammenzuarbeiten und dabei Datensicherheit und Privatsphäre zu schützen“.¹ Es steht unter Apache-2.0, wird von der Linux Foundation gehostet und wurde von der AI Group von WeBank initiiert.² Es „implementiert sichere Berechnungsprotokolle auf Basis homomorpher Verschlüsselung und Multi-Party Computation (MPC)“ und liefert, was ein Deployment braucht: FATE-Flow plant Aufgaben über Parteien hinweg, FATE-Board inspiziert Modelle, FATE-Serving stellt sie bereit, KubeFATE deployt es auf Kubernetes.
FATE-LLM erweitert es auf Sprachmodelle, mit parametereffizientem Training und einer Methode namens FedIPR zum Schutz des geistigen Eigentums an Modellen.³ Eine seiner Methoden, FedMKT, überträgt Wissen in beide Richtungen zwischen kleinen Modellen auf Clients und einem großen Modell auf einem Server.⁴ Das ist eine Idee, über die ich schon geschrieben habe, dass dezentralisierte Intelligenz das Wachstum für das Ganze zentralisiert, und sie taucht in der Codebasis von jemand anderem auf. Der Name WeBank zieht sich auch durch die Forschung: durch die Übersichtsarbeit von 2019, die horizontales, vertikales und Transfer-föderiertes Lernen darlegte,⁵ das JMLR-Paper von 2021,⁶ und die Papers zu FATE-LLM und FedMKT.⁴,⁷
Die Gestalt in einer Zeile: Das Modell reist zu den Daten, und die Daten bleiben, wo sie sind. Das README nennt keine Anwender, also tue ich es auch nicht. „Mainstream“ ist in diesem Beitrag eine Prämisse, kein Bericht.
Was sich ändert, wenn das alltäglich ist
1. Daten werden nicht mehr gekauft, sondern zusammengeführt. Eine Kopie lässt sich nicht un-kopieren. Wenn das Training über Parteien hinweg stattfindet, ohne dass die Zeilen sich bewegen, ist das Handelswürdige ein Platz in einer Berechnung, nicht eine Datei, und wer Daten besitzt, die sich nicht von ihm kopieren lassen, gewinnt eine Verhandlungsposition, die er nie hatte.
2. „Die Daten haben das Haus nie verlassen“ wird die Behauptung, die jeder beweisen muss. Finanzwesen, Gesundheit und öffentlicher Sektor ziehen zuerst mit, weil ihre Regeln bereits sagen, wo Daten liegen dürfen. Sobald alle es sagen, verlangen Prüfer Nachweise, und ein föderiertes System ist von außen schwer zu prüfen: Niemand sieht die Daten, auch nicht, wer prüft. Was zu inspizieren bleibt, ist der Beleg.
3. Anerkennung wird schwerer, nicht leichter. Dieser Punkt verdient meine Unterstreichung. Föderiertes Training vermischt die Beiträge vieler Parteien zu einem Modell, und sichere Berechnung hält jeden Beitrag für die anderen unlesbar. Das ist ihr Zweck, und es ist das Gegenteil dessen, was Attribution braucht. Ich habe das README nach Attribution, Lizenzgebühren, Anerkennung, Auszahlungen und Einwilligung durchsucht und keinen dieser Begriffe gefunden. Das ist eine andere Aufgabe, kein Fehler, aber es bedeutet, dass eine föderierte Welt Attribution Decay als Eigenschaft des Designs erbt.
4. Audits wandern von den Daten zum Modell. Ein Datensatz, der nie an einem Ort zusammengestellt wurde, lässt sich nicht an einem Ort inspizieren. Übrig bleibt, was das Modell tut: Kann es ein geschütztes Abbild reproduzieren, memorisiert es.
5. Die Person ist immer noch eine Zeile. Die Parteien von FATE sind „Unternehmen und Institutionen“, und sein Paper von 2021 nennt sein Ziel „Cross-Silo-Datenanwendungen“.⁶ Eine Bank tritt der Föderation bei, und ihre Kunden sind Zeilen im Silo der Bank. Föderation schützt die Daten einer Institution vor einer anderen. Sie fragt nicht die Person.
Mary, vom Gerät aufwärts
Mary steht für Mesh, Ambient, Realm, Yoke, und die vier Wörter sind das Design: ein Mesh aus Knoten ohne Zentrum, standardmäßig ambient, damit es ohne Verhör funktioniert, ein Realm für jede Person und jede App (im Code eine Lane) und ein Yoke, das sie verbindet, ohne sie zu verschmelzen. Es umfasst AII, Braid, Craft, Ambient und Veil.
Mary kann FATE sein; es beginnt nur tiefer. FATE beginnt im Silo einer Institution. Mary beginnt bei einem Gerät und der Person, der es gehört, und tut dort drei Dinge gleichzeitig:
- Ein Refugium. Die Daten werden privat auf dem Gerät gespeichert, in einer durch ein Geheimnis versiegelten Lane. Das ist AII.
- Ein Modell neben den Daten. Jedes Gerät trainiert sein eigenes Modell allein auf dieser Lane, sodass das Lernen so privat bleibt wie die Daten. Das ist ein Braid Thread.
- Föderation obendrauf. Geräte schließen sich über das zusammen, was ihre Modelle gelernt haben, nie über die Rohdaten, ausgerichtet auf die sichere Berechnung, an der FATE seit Jahren arbeitet.
Der Regen ist das, was auf Daten ohne Dach fällt. Von unten aufgebaut, kann Mary auch beantworten, was die Föderation offenlässt: Wessen Daten haben das hier erzeugt, unter wessen Regeln?
Was jede Schicht leistet
Das Refugium hält das Eigentum fest, bevor etwas vermischt wird. Aggregation vermischt zuerst und kann danach kaum noch trennen. AII, der Ambient Intelligence Index, hält zuerst fest, sodass es nichts zu trennen gibt. Die Regel lautet: Halte fest, wem etwas gehört, bevor es mit irgendetwas vermischt werden kann. In AII ist sie mechanisch, keine Richtlinie:
- Die Lane kommt aus dem Geheimnis. Die Lane eines Eintrags wird durch das Geheimnis der App benannt, die ihn geschrieben hat; eine vom Client gesendete Lane wird ignoriert, und die Lane eines Dokuments steht ein Leben lang fest.
- Zusammenführen kann Eigentum nicht verschleiern. Eine Graph-Änderung wird abgelehnt, es sei denn, jedes dahinterstehende Dokument liegt in der Lane des Bearbeiters.
- Jede Passage behält ihren Eigentümer, und jeder Turn wird bepreist. Der Abruf trägt Eigentümer und Partition jedes Ergebnisses, und Sewn teilt jede Antwort auf die zitierten Dokumente auf, gemessen an den tatsächlichen Token-Kosten des Turns, in ein Wallet.
Ambient, Craft und Veil legen alle dort ab, sodass die Kette der Anerkennung beim ersten Schreiben beginnt.
Das Modell auf dem Gerät vermischt die Gewichte nicht. Föderiertes Training fragt, wie man Beiträge vermischt, ohne sie offenzulegen. Braid fragt, ob sie überhaupt vermischt werden müssen. Seine Commons ist ein vortrainiertes Mamba2, das alle Parteien teilen und das niemand trainiert. Jeder Thread ist ein eigenes Modell, trainiert neben einem Korpus an Texten (einer AII-Lane, auf demselben Gerät) und nie in die Gewichte eines anderen Threads eingemischt. Stattdessen werden sie bei der Inferenz gemischt, und für jeden Token meldet Braid, wie viel jeder Strang geliefert hat: Anteile, die sich zu 1 summieren, jeweils auf eine Stelle im eigenen Thread zurückgeführt. Der Tausch: exakte Anerkennung, kein einzelnes zusammengeführtes Modell. Vermische nicht, was du anerkennen musst. Der Beweis ist klein: Am 19. Oktober, bei 130 Millionen Parametern mit Threads aus 40 Dokumenten, unterschied ein trainierter Thread Text, den er studiert hatte, von Text, den er nicht studiert hatte, jedes Mal. Neben einem Frontier-Modell ist das ein Spielzeug, und das sage ich lieber zuerst. Die längere Geschichte steht in der Braid-Serie.
Das Refugium gibt der Person einen Platz. Ambient liest mit Ihnen mit und antwortet aus dem, was Sie gelesen haben, und sammelt die Daten einer Person auf ihrem eigenen Gerät in ihrer eigenen Lane. Wenn die Person zur Partei werden soll, ist das die Oberfläche, in der sie sitzen würde. Craft, ein Coding-Agent, der Ihre Maschine nie verlässt, ist dieselbe Gestalt für den am besten gehüteten Datensatz eines Unternehmens, seinen Quellcode: Das Modell kommt bereits zu den Daten.
Es prüft das Modell, nicht die Daten. Veil hält einen Bildgenerator mitten im Lauf an, wenn er beginnt, ein geschütztes Foto zu kopieren, und nennt, wessen Foto es war. Darunter fragt es, ob ein Modell ein Abbild hervorbringen kann, ob darauf trainiert oder nicht. Wenn Audits zum Modell wandern, ist eine Prüfung, die den Trainingsdatensatz nie brauchte, von der Art, die weiter funktioniert. Die längere Fassung steht in Scorpion und Veil.
Wo FATE hineinpasst
Mary hat noch keine sichere Berechnung, und ich würde die von FATE nicht nachbauen: Das sind Jahre an Kryptografie, die FATE bereits trägt. Marys oberste Schicht ist der Ort, an den diese Maschinerie gehört.
Durchgezogene Linien gibt es heute. Gestrichelte sind Verbindungen, die ich nicht gebaut oder getestet habe. Der graue Kasten ist die Arbeit von jemand anderem.
Wenn morgen ein föderierter Stack landete, würde Mary darunter sitzen: ein Refugium und ein Thread bei jeder Partei, Braids Buchführung über allem, was die föderierte Schicht hervorbringt, um zu sehen, ob die Anerkennung überlebt, und ein Veil-artiger Test am entstehenden Modell, da niemand die Daten prüfen kann, aus denen es stammt.
Das erste Experiment ist ein konkretes. Der Kopf eines Threads ist bereits der private, parteispezifische Teil von Braid, getrennt vom gemeinsamen Schwanz. Ob die parameter-effiziente Maschinerie von FATE-LLM diesen Kopf durch eine föderierte Runde tragen kann, habe ich nicht getestet. Ich würde das Ergebnis in jedem Fall veröffentlichen.
Was nicht gebaut ist
Ein Beitrag über Belege, der seine eigenen Lücken verschwiege, wäre ein Witz.
- Es steckt keine sichere Berechnung darin. Keine homomorphe Verschlüsselung, keine Multi-Party Computation, keine sichere Aggregation, keine Differential Privacy, nirgends in AII oder Braid. Das ist die Stärke von FATE, und der Grund, warum Marys oberste Schicht gestrichelt gezeichnet ist.
- Es ist eine Maschine. Braids Cluster läuft in einem Prozess, und AII ist ein Mac über Loopback. Den Index einer Person mit dem einer anderen zu verbinden ist ein Design, kein Feature.
- Nichts wurde gegen FATE gebenchmarkt. Jedes „Kann es eine Runde mitfahren?“ oben ist eine Frage, kein Ergebnis.
- STTP ist ein Vorschlag, und MaryOS ist nicht öffentlich. Keines von beiden lässt sich installieren.
Wohin es geht
Heute ist jede Schiene die Konvention von irgendwem. aii-record/1 ist meine, Braids Sitzungslog ist meins, FATE hat seine eigene, und keine spricht mit den anderen. Eisenbahnen zählen erst, wenn sie dauerhaft sind, und dauerhaft macht sie ein Protokoll.
Das ist STTP, das Semantic Token Transfer Protocol, und es ging nie um Wörter. Was auch immer ein Gerät erzeugt (ein Satz, eine Funktion, die RGB-Werte einer Fotografie), wird in diesem Moment als Tokens vorbereitet, Peer-to-Peer an den gesendet, der es haben soll, und beim Eintreffen in die empfangenden Modelle verdaut. Es ist das Problem, das FATE löst, kontinuierlich gemacht und gleichgültig gegenüber der Art der Daten, und es erbt dieselbe offene Frage: Wie tragen viele Maschinen bei, ohne dass eine von ihnen oder ein Server die Rohwerte der anderen sieht? FATE antwortet mit Kryptografie, und die Arbeit zu Privacy Preserving Measurement bei der IETF ist das Nächste an einer Antwort, was ich gefunden habe. Was Mary hinzufügt, ist der Teil, den keines von beiden trägt: Jeder Token behält seine Lane und seinen Beleg, sodass die Anerkennung die Verdauung überlebt. MaryOS, die Linux-Variante, die ich baue, ist der Ort, an dem ich ein Gerät teste, das mit eingebauter Lane vom ersten Start an eintrifft.
STTP ist die Föderationsschicht, in die Mary hineinwachsen würde: eine Spurweite, auf die sich jede Maschine einigt, sodass Refugium, Modell und Röhre auf demselben Gleis fahren. Eine Lane bei jeder Partei, ein Beleg bei jedem Token und ein Protokoll dazwischen machen aus Daten etwas, das nicht genommen, sondern zusammengeführt, anerkannt und bezahlt wird. Sewn bepreist bereits den Anteil jedes Dokuments an einer Antwort, was der kleinste Teil eines Marktes ist: ein Preis, ein Zahlungsempfänger und ein Eintrag. Ich lege Gleise, ich sage nicht die Städte voraus.
P.S.
Die Angaben zu FATE stammen aus seinem README und dem FATE-LLM-Repository vom 4. November 2026, der Ankündigung der Linux Foundation und den ersten Seiten der oben zitierten Papers, und die Repositories ändern sich oft. Die Angaben zu Mary stammen aus den Repositories von AII, Braid und Veil, dem Mary-Repository (inzwischen privat) und den Produktseiten am selben Datum, und MaryOS wird nur so weit beschrieben, wie das Mary-Repository es beschreibt. Alles unter „Wo FATE hineinpasst“ ist ein Plan, kein Feature, und ebenso, dass STTP über Text hinaus auf jede Art von Daten reicht: Das ist eine Richtung, kein Ergebnis.