Vision d’avenir
STTP
Semantic Token Transfer Protocol. Et si l’on construisait un nouvel internet autour de cette idée que les données stockées sur nos appareils ont automatiquement des tokens préparés à la création et à la modification, que ces tokens sont disponibles à tout moment et que nos machines peuvent communiquer et partager leurs tokens avec d’autres machines, de pair à pair ? Selon la requête, ces tokens sont agrégés et servent de base à une prédiction, au sein d’une couche qui reproduit la fin des couches d’un transformer, avant la prédiction qui génère une complétion de texte.
Chaque application et chaque logiciel construit sur ce nouveau système d’exploitation a automatiquement la capacité de lire le contexte de tokens agrégé, en le « compilant » dans une couche de prédiction intégrée avant le rendu. Quel type de système serait-ce ? À quoi ressembleraient les surfaces d’application ? À quoi ressembleraient les sites web ? Devrait-ce être un protocole réservé à internet, ou situé à un niveau plus bas ? C’est ce que font les bases de données vectorielles et le RAG, une architecture éprouvée, simplement pas encore décentralisée au niveau du système d’exploitation ni mise en œuvre pleinement au niveau du réseau par défaut.
Je me fie à mon intuition ces derniers temps, et j’ai cette idée depuis l’an dernier, mais je ne voulais pas croire que je forçais une réalité simplement à cause d’un nouveau système que je mettais moi-même en pratique. Me rapprocher de l’achèvement de MaryOS, et comprendre son système de systèmes, m’a aidé à clarifier et/ou à donner assez de confiance pour qu’un tel avenir soit réellement possible. Travailler avec des technologies fédérées et tomber sur Privacy Preserving Measurement (PPM) et son Distributed Aggregation Protocol (DAP) m’a aidé à relier des points que je ne suis pas sûr que quelqu’un relie déjà, même si cela se prépare peut-être déjà quelque part.
PPM traite exactement la pièce que j’avais laissée implicite : comment plusieurs machines contribuent-elles à un agrégat sans que l’une d’elles, ni aucun serveur, voie les valeurs brutes des autres ?
Un petit modèle sans tête produit des logits bruts sur le vocabulaire (un vecteur de taille |vocab|, des scores non normalisés, sans softmax). Additionner ces vecteurs de logits sur de nombreux modèles puis seulement ensuite appliquer un seul softmax est mathématiquement différent de moyenner la distribution de probabilité propre à chaque modèle. Additionner les logits avant de normaliser équivaut, une fois renormalisé, à multiplier entre elles les distributions de probabilité individuelles. C’est le Product of Experts de Hinton (1999), pas un Mixture of Experts.
C’est une métaphore du consensus au sens le plus pur, propulsée par le réseau, qui donne la véritable idée d’agrégation ou d’intelligence générale. Extraire le softmax est peut-être encore élémentaire, mais je me demande si ces pensées font naître une compréhension de ce que pourrait être la bonne finalité, surtout en travaillant dans l’idée que connecter des millions de modèles plus petits donnera finalement un meilleur résultat que quelques modèles de pointe monolithiques.