Zukunftsvision
STTP
Semantic Token Transfer Protocol. Was wäre, wenn ein neues Internet um die Idee herum gebaut würde, dass die auf unseren Geräten gespeicherten Daten bei Erstellung und Änderung automatisch vorbereitete Tokens besitzen, dass diese Tokens jederzeit verfügbar sind und unsere Maschinen ihre Tokens Peer-to-Peer mit anderen Maschinen austauschen können? Je nach Anfrage werden diese Tokens in einer Schicht aggregiert und gegen sie vorhergesagt – einer Schicht, die das Ende der Layer eines Transformers nachbildet, noch vor der Vorhersage, die eine Textvervollständigung erzeugt.
Jede Anwendung und jede Software, die auf diesem neuen Betriebssystem entsteht, kann den aggregierten Token-Kontext automatisch lesen und vor dem Rendern in eine eingebaute Vorhersageschicht „kompilieren“. Was wäre das für ein System? Wie sähen Anwendungsoberflächen aus? Wie sähen Websites aus? Sollte das ein reines Internetprotokoll sein, oder sollte es auf einer tieferen Ebene ansetzen? Das ist es, was Vektordatenbanken und RAG tun, eine bewährte Architektur, nur noch nicht dezentral auf Betriebssystemebene oder standardmäßig vollständig auf Netzwerkebene umgesetzt.
In letzter Zeit vertraue ich meiner Intuition, und ich habe diese Idee seit letztem Jahr, wollte mir aber nicht einreden, ich würde eine Realität herbeizwingen, nur weil ich selbst gerade ein neues System in der Praxis umsetze. Dass ich MaryOS näher an die Fertigstellung bringe und sein System von Systemen verstehe, hat dazu beigetragen, mir Klarheit und/oder genug Zuversicht zu geben, dass eine solche Zukunft tatsächlich möglich ist. Die Arbeit mit föderierten Technologien und die Begegnung mit Privacy Preserving Measurement (PPM) und seinem Distributed Aggregation Protocol (DAP) haben mir geholfen, Punkte zu verbinden, bei denen ich nicht sicher bin, ob sie schon jemand verbindet, auch wenn das vielleicht irgendwo bereits in Arbeit ist.
PPM beantwortet genau das Stück, das ich implizit gelassen hatte: Wie können mehrere Maschinen zu einem Aggregat beitragen, ohne dass eine von ihnen oder ein Server die Rohwerte der anderen sieht?
Ein kleines Headless-Modell gibt rohe Logits über das Vokabular aus (ein Vektor der Größe |vocab|, unnormalisierte Scores, kein Softmax). Wenn man diese Logit-Vektoren über viele Modelle summiert und erst dann ein einziges Softmax anwendet, ist das mathematisch etwas anderes, als die Wahrscheinlichkeitsverteilungen der einzelnen Modelle zu mitteln. Das Summieren der Logits vor der Normalisierung ist, nach erneuter Normalisierung, gleichbedeutend mit dem Multiplizieren der einzelnen Wahrscheinlichkeitsverteilungen. Das ist Hintons Product of Experts (1999), keine Mixture of Experts.
Es ist eine Metapher für Konsens im reinsten Sinn, angetrieben von Vernetzung, und führt zur eigentlichen Idee von Aggregation oder allgemeiner Intelligenz. Vielleicht ist es immer noch elementar, das Softmax herauszulösen, aber ich frage mich, ob diese Gedanken ein Verständnis dafür wecken, was das richtige Endspiel sein könnte, besonders wenn man auf die Idee hinarbeitet, dass die Verbindung von Millionen kleinerer Modelle am Ende ein besseres Ergebnis liefern wird als einige wenige monolithische Frontier-Modelle.