← Une base de données personnelle et privée pour l’IA

Thread est la base de données personnelle d’un utilisateur

Partie 1 sur 4

Ambient Intelligence Index est, au fond, une base de données. Elle comporte 3 parties : Sewn, Thread, Seam. Thread est la couche de base de données proprement dite ; autour d’elle, Sewn et Seam fournissent la mécanique qui la relie aux couches applicatives et à d’autres bases de données, et qui regroupe les API de machine learning pour l’inférence en utilisant le contenu de la base comme contexte. Dans cette partie de la série, nous nous concentrerons sur Thread ; Sewn et Seam seront traités dans la partie 2, Sewn & Sinatra personnalisent votre IA.

La route de Thread vers AII

Thread se veut un type de solution de stockage qui conserve les données pour les préparer à la récupération par graphe de connaissances et par base vectorielle. Les bases vectorielles sont le point de départ de Thread. En réalité, Thread a une histoire plus longue : il est né de Seer. J’ai commencé en octobre-novembre 2025, quand je me suis lancé dans la résolution du problème des redevances et de l’attribution dans la récupération. Ce faisant, j’ai voulu m’attaquer à l’augmentation des réponses générées dans leur ensemble. Deux choses essentielles : cette idée d’un chat infini, et l’ajustement d’une réponse à un utilisateur par une forme d’apprentissage par renforcement autonome. Un autre cas où je voulais faire d’une pierre plusieurs coups, comme on le voit dans Le chemin vers le « Fair Use » dans l’IA générative, à propos des modèles de langage compatibles avec le « fair use ».

Au cours de ce processus, Seer a évolué vers une dynamique de personnalisation qui, ai-je constaté, pouvait rendre un modèle Mistral Medium aussi précieux qu’un modèle OpenAI à l’état de l’art. Et ce n’était pas grâce au rappel factuel, car celui-ci était complété par la manière dont j’agrégeais dans Thread des données issues de réseaux sociaux comme Bluesky. C’était grâce à sa capacité à relier les points entre mes notes et d’autres nœuds.

J’avais hébergé Seer sur Scaleway et implémenté un HNSW rudimentaire, Hierarchical Navigable Small World, qui place pour l’essentiel les représentations vectorielles des données sur un graphe que l’on peut parcourir pour trouver facilement des éléments apparentés. Une conception que je pourrais ramener, mais sa difficulté de maintenance l’a écartée pour le moment. Elle était pourtant très instructive, donc j’en parlerai brièvement avant d’aborder l’état actuel de Thread, car le format de stockage central PartitionTable est resté le même tout au long du développement.

Les embeddings sont des représentations vectorielles de texte : chaque mot ou passage devient une liste de nombres, un par dimension. Il peut y en avoir des centaines ou des milliers, mais on les imagine souvent en trois, x, y et z, pour que l’espace devienne quelque chose que l’on peut voir. J’ai commencé le NLP en 2016, en travaillant avec des lexiques d’émotions pour dériver la cadence émotionnelle de l’historique de messages d’un utilisateur et de ce qu’il écrivait à un chatbot. En chemin, j’ai découvert GloVe, et avec lui l’idée, longuement étudiée pour elle-même, que les mots présentent une similarité mesurable avec d’autres mots. Si vous imaginez les mots dans un monde en 3D, vous pouvez le parcourir et trouver entre eux une distance réelle qui a un sens : un nombre qui dit à quel point deux mots sont proches par le sens et la relation.

Les embeddings de texte ont porté cette idée des mots aux passages entiers, et HNSW s’est construit dessus. Là où les vecteurs de mots relient un mot à un autre, un modèle d’embedding place un passage entier dans le même genre d’espace, et HNSW relie chacun à ses plus proches voisins, à travers les thèmes et les documents. Grâce à la façon dont j’ai structuré les partitions au sein d’un document, il pouvait prendre une partition d’un document et la relier directement à des partitions d’un autre.

Cela m’a donné cette idée de pensées mutuelles, où 2 essais peuvent porter sur des sujets entièrement différents, mais où un paragraphe ou une expression de chacun sont apparentés, reliés dans un petit monde navigable. La force était de voir comment des perspectives communes peuvent exister dans des textes entièrement différents. En définitive, un pont se construit entre deux points de vue différents, et trouve la même chose que tous deux voulaient, au fond.

Le problème avec HNSW était de maintenir la cohérence du graphe au fil de l’arrivée et du départ des nœuds et de leurs documents. Une insertion se liait sur place, mais une suppression ne faisait que marquer le nœud : son texte et son vecteur restaient dans le graphe, avec des liens qui pointaient encore vers lui, jusqu’à ce qu’un compactage reconstruise le tout. Je voulais que Seer, Thread et AII placent la vie privée et la sécurité en premier, alors j’ai retiré HNSW. Équilibrer fiabilité, nœuds orphelins et cohérence des données à grande échelle était un exploit d’ingénierie en soi, et je construisais en même temps beaucoup d’autres pièces mobiles. Cela vaut la peine d’être ramené, et du point de vue de la fiabilité des serveurs, c’était un problème intéressant.

J’avais construit un service de scraping qui se connectait à Bluesky et à des flux RSS, récupérait les publications toutes les heures et les classait automatiquement dans l’index sous des comptes de service fixes, intitulés Bluesky et ainsi de suite. Quand ces publications servaient à la récupération de contexte, leurs comptes étaient crédités de redevances, pour démontrer le fair use au niveau de la couche de récupération.

C’est en construisant cette couche de crédibilité que j’ai trouvé l’idée de personnalisation qui m’a paru magique. Je pouvais voir qu’une réponse de LLM était à 60 % du Bluesky, ouvrir ce compte et voir les véritables publications Bluesky, les véritables personnes, derrière la réponse. C’était comme coudre la vie ensemble : le LLM assemblait des fils au lieu d’être l’unique source de vérité. Cela ressemblait aussi à un garde-fou contre le délire induit par l’IA. Voir les vraies personnes derrière les mots, de façon digeste, me donnait quelque chose à vérifier plutôt qu’une boîte noire à laquelle faire confiance, et qui pouvait vous mener sur le mauvais chemin.

D’une certaine manière, voir ces comptes comme des contributeurs à ce que le LLM assemblait a donné du poids à une phrase à laquelle je revenais sans cesse : « l’intelligence décentralisée centralise la croissance pour l’ensemble. » Et si des idées de pair à pair entraient en jeu ? Et si plusieurs serveurs Seer pouvaient apparaître et se connecter entre eux ? C’est là qu’une pierre et plusieurs coups sont revenus dans mon cycle de développement. Non seulement nous pouvions résoudre l’attribution par la récupération, mais nous pouvions faire sentir aux utilisateurs qu’ils possèdent vraiment leurs données dans le processus. L’ingénierie nécessaire pour maintenir tout cela allait croître et mettre à l’épreuve ma capacité à garder l’architecture cohérente ; il était donc temps de diviser pour mieux régner. J’ai coupé la pile en deux : la base de données était clairement un produit à part entière, tout comme la couche de service, qui exposait l’API REST, appelait les API de LLM et préparait la récupération.

J’ai installé Ubuntu sur un ordinateur de bureau que j’avais, fait compiler Swift sous Linux avec MLX pour pouvoir exécuter sur l’appareil des modèles d’embedding et des LLM de résumé, et j’y ai placé un Thread. J’ai téléchargé le jeu de données complet d’arXiv et écrit des scripts pour en extraire les auteurs et les entités, créer des groupes et l’ingérer automatiquement dans le Thread. Puis j’ai fait en sorte que Seer se connecte au Thread via le réseau local, par gRPC, pour gérer la récupération. Cela a prouvé que l’approche était viable : les utilisateurs hébergeraient leurs propres Threads avec leurs propres données, et un serveur mère coudrait ces Threads ensemble pour une interface comme Ambient.

État actuel

Aujourd’hui, Thread est de retour dans la partie, au sein d’Ambient Intelligence Index, qui organise les trois parties : Sewn, Thread et Seam (le gRPC). Une pile cohérente qui permet à la machine de n’importe qui de stocker ses données personnelles et de les servir à ses applications personnelles, en personnalisant ses interactions au fil du temps et en préparant sa machine à se connecter facilement à d’autres à l’avenir. J’aime dire qu’AII est le début d’un nouveau chemin de fer et que le rôle de Rao est de construire l’Union Pacific.

Aujourd’hui, Thread est un graphe de connaissances d’entités et de relations, conservé à côté d’un vecteur compressé pour chaque partition. HNSW est retiré pour l’instant, il y a donc deux façons de chercher. Une recherche par similarité compare une requête aux partitions des documents propres à l’utilisateur. Une requête sur le graphe de connaissances fait correspondre des entités et des relations et parcourt le graphe : ce qu’elle renvoie est donc déterminé par les entités définies au niveau du document, non par un score. C’est important, car un utilisateur peut avoir des millions de partitions : le graphe les réduit à un ensemble de documents, et la recherche vectorielle ne s’exécute que sur cet ensemble.

Les groupes et les tags affinent encore la sélection. Un groupe est comme un dossier, et chaque document est classé dans un seul. Les tags sont des étiquettes qu’un document peut porter en grand nombre, et chacun est classé comme une entité dans le graphe ; nommer un tag dans une requête permet donc de trouver ses documents via le graphe. Un utilisateur peut choisir des groupes, nommer des tags et des entités, puis lancer une recherche vectorielle sur ce qui reste pour trouver des idées similaires. Cela construit le contexte d’une requête à un LLM personnalisée pour lui, ou permet simplement de rappeler un souvenir : rappeler à l’utilisateur une note du passé redevenue pertinente aujourd’hui, l’un des cas d’usage principaux d’Ambient. D’une certaine manière, les entités et les tags sont des concepts interchangeables.

En pratique, les tags ont repris une bonne part de ce à quoi servaient les groupes, puisqu’un document peut en porter plusieurs et que le graphe les trouve par leur nom, mais les deux sont conservés : un groupe reste le seul endroit où un document est classé, et une recherche peut le nommer directement. Le principe des groups au départ était de créer un emplacement agrégé permettant à un utilisateur ou à un propriétaire d’indiquer s’il doit rester disponible ou restreint ; ainsi, quand un autre utilisateur demande du contexte à cet utilisateur, celui-ci peut indiquer quels documents peuvent être consultés par la recherche et lesquels ne le peuvent pas. Une fonctionnalité enracinée dans la vie privée, toujours maintenue, et qu’Ambient reflétera bientôt dans son interface.

PartitionIndex

Le partition index est la représentation en code d’un document. Je considère que c’est la pierre angulaire de l’invention de Thread et ce qui s’épanouit dans ce qu’expriment Sewn, Thread et Seam à travers AII. Dans la vie, il y a toujours cette petite pièce du puzzle qui fait vraiment chanter une image plus grande, et le PartitionIndex, avec son Quantizer, aide à en écrire les paroles.

Tout est parti de la photographie computationnelle et de la manière dont on applique des filtres aux photos pour en créer de nouvelles variations. Les mêmes filtres que vous utilisez sur Instagram ou d’autres plateformes. À l’époque, il y avait VSCO. Une table de correspondance (lookup table) est comme une traduction directe de quelque chose en autre chose. Une image peut être vue comme la représentation littérale de 1000 mots, une grille de nombres qui reflètent des valeurs RVB ou des pixels, de vraies couleurs sous forme numérique. Quand une table de correspondance est appliquée par-dessus, elle transforme chaque pixel vers une autre destination, ce qui produit un résultat retouché et filtré. J’aime imaginer un tableau à épingles, où chaque épingle représente un concept ou une pensée dans une partition que nous devons soulever pour récupérer efficacement. La hauteur de l’épingle représente la notion de distance et son rapport à la similarité entre les mots, dont je parlais plus haut dans cet essai.

Avant l’implémentation actuelle, et selon une idée qui reviendra bientôt pour être menée à terme, le Thread de chaque utilisateur avait en fait une représentation en tableau à épingles de toute sa couche de personnalisation : une grande table qui décrit tout ce qui est stocké dans son Thread, plutôt qu’une par document. C’est là qu’intervient l’efficacité des LUT : créées à partir d’une requête, elles peuvent masquer rapidement les partitions non pertinentes et récupérer les éléments pertinents, en « découpant » des choses pour une recherche rapide en O(1). Dans ce cas, la voie du graphe de connaissances pourrait même ne pas être nécessaire, à moins qu’une manière efficace de créer des tableaux à épingles d’entités, de tags ou de groupes globalement ne s’avère meilleure qu’un seul pour toute la base. Cela reste donc de la R&D pour l’instant, et deviendra à terme la preuve d’un brevet provisoire que j’ai déposé pour cette approche du stockage de documents, à l’intention des ingénieurs nativement IA qui arrivent pour la première fois dans les environnements macOS et iOS.

Pour rendre ces documents soumis compatibles avec la métaphore du tableau à épingles, il faut toutefois entraîner les vecteurs d’embedding qui représentent le document et ses partitions. Les entraîner dans un codebook. Un codebook qui est la représentation convertie de l’emplacement de l’embedding plus grand de la partition, pour chaque ligne d’un tableau à 2 dimensions.

Le codebook peut stocker des milliards d’entrées à l’heure actuelle pour chaque document, ce qui paraît un peu inefficace si l’on regarde directement le code. Mais c’est parce que l’intention d’origine était qu’il représente tous les documents d’un utilisateur sur toute sa vie plutôt qu’un seul document ; il peut donc potentiellement prendre 2 voies à partir d’ici. Soit la limite de taille est réduite pour correspondre exactement aux besoins du document à l’ingestion, ce qui est difficile, car l’identifiant du document est alors contraint pour les modifications : les nouvelles modifications doivent mettre à jour dynamiquement la taille du codebook, ce qui peut coûter cher, jusqu’à une opération de réentraînement complète pour l’approche par embeddings compressés. Or l’avantage de l’approche par embeddings compressés est de ne pas exiger de garder en permanence en mémoire de la machine des milliers d’embeddings à 1024 dimensions pour la recherche par similarité. 16 codes UInt16, 32 octets, et non 384 (ce qui était le cas à l’époque de HNSW dans Seer). Ce qui n’était toujours pas un vecteur de 1 024 dimensions, puisque celui-ci est découpé en 16 tranches de 64 nombres, et que chaque tranche conserve un UInt16 qui nomme son cran le plus proche.

Au bout du compte, un utilisateur commence à posséder cette base de données personnelle qui stocke ses données sur sa machine, préparée pour la personnalisation, tout en exécutant des modèles sur l’appareil pour générer à la volée des entités et des relations. Relier les points de sa vie, nés d’un Macintosh. Lui permettre de chercher ce qu’il a oublié du passé, ou de voir le présent sous un autre angle. C’est le pouvoir des bases de données : ce n’est pas seulement du stockage ; c’est davantage. Parfois, c’est toute la vie de quelqu’un condensée dans un dossier. Une vie entière à laquelle vous seul devriez avoir accès et que vous seul avez le droit de lire. C’est ce que Rao est censé faire. C’est mon rôle.

P.S.

Je pensais à cette chanson en écrivant ceci, j’en ferai donc le thème de cette partie de la série.

La vie privée est importante, non pas parce que les gens essaient de cacher quelque chose. Mais parce qu’il y a des choses qui ne sont faites que pour que nos yeux les voient et s’en souviennent. Et la motivation et l’inspiration qui s’épanouissent à partir de ces choses perdent de leur valeur quand des regards injustifiés se posent dessus. C’est déshumanisant à sa manière. Rao entend ne jamais laisser cela arriver à quiconque à travers AII.