Vision d’avenir

Du Seer à Mary : le parcours

4 septembre 2026rao-studios/AIIseertotemmaryembeddingshnswgraphes de connaissancesdécentralisation

J’ai publié toute une série d’essais le 16 août de cette année, des résumés de tout mon travail de l’année, rédigés avec l’aide d’une IA à partir de mes propres notes et bases de code. Une grande partie en a été couverte dans Ambient Intelligent Systems. Je les ai rédigés ainsi pour gagner du temps et me reposer, tout en continuant à construire les systèmes et à les concevoir mentalement en parallèle. C’est l’un des bons côtés de l’IA, tant que vous éditez ce qu’elle vous donne, et je continue d’éditer, parce que je préfère par moments être éditeur. Cela dit, j’aime parfois la prose : Ambient Intelligent Systems est sorti plutôt poétique. Cela ressemblait à un voyage, et l’émotion qui y est passée a été consignée. Mais je veux vraiment entrer dans la technique ; sinon, il est assez difficile de dire vraiment comment des années d’apprentissage se sont cumulées dans ce que je construis, MaryOS. Mary est cette culmination d’expériences intégrées dans une seule solution, avec un soin extrême. Un projet que je compte soutenir en parallèle pendant que je travaille sur Gita's Ballad, désormais dans un dépôt privé. Un projet que je me vois entretenir très longtemps.

Seer a été le début. Je voulais m’attaquer au problème des redevances des œuvres écrites utilisées dans les grands modèles de langage. J’ai d’abord abordé le développement à un niveau élevé, pour voir si l’idée pouvait gagner du soutien en vue d’une exploration plus profonde. Aller en profondeur est difficile quand un projet cohabite avec tout le reste, mais le fait que MaryOS aligne tout à la fin m’a détendu à tel point qu’il est maintenant agréable d’écrire sur mes intentions avec ce projet.

Seer devait être un outil de base de données propulsé par des embeddings, qui ingère des documents, des documents personnels, à grande échelle pour personnaliser les sorties d’un LLM selon l’utilisateur, tout en appliquant une simple comparaison de magnitude entre le contexte récupéré et une sortie générée, au moyen de stratégies de similarité. Ce n’est pas une solution robuste, pas au niveau du modèle avant la prédiction du token, mais cela suffisait à prouver le point. Je compte maintenant atteindre la couche de prédiction du token avec Mary, et j’ai hâte d’écrire là-dessus à l’avenir, ainsi que sur ma façon d’aborder le filigrane des prédictions avec leur provenance.

J’avais construit une application iOS de base pour affiner vraiment ma réflexion de conception autour de Seer. Ce fut honnêtement un excellent projet dans l’ensemble pour me ramener du parcours de recherche autonome que je suivais depuis le début de l’ère des LLM. Il m’a fait revenir et m’a poussé jusqu’au point où j’en suis aujourd’hui. J’ai commencé en octobre 2025, après avoir planifié mon approche de janvier à février 2025, et un an plus tard, je suis certain que nous pouvons construire de vrais systèmes de droit d’auteur avec les technologies génératives ; nous n’avons simplement pas encore essayé.

Seer est une application Swift-on-Server qui expose plusieurs routes, utilise Supabase pour l’authentification et était hébergée chez Scaleway. Le composant clé était cette solution de stockage que j’avais conçue moi-même à partir de ma connaissance des tables de correspondance (LUT) utilisées pour les filtres dans les technologies d’étalonnage colorimétrique. Un document peut être partitionné en plusieurs segments, et chaque segment a un vecteur d’embedding stocké en mémoire, compressé de sorte que le vecteur entier de 1024 dimensions n’est pas toujours conservé en mémoire, seulement des blocs de 64 dimensions, et quand des candidats sont trouvés, le disque est enfin lu pour en extraire le texte complet associé. Cela fonctionnait très bien. Le partitionnement est devenu si précis qu’il avait presque quelque chose de magique. Et recoudre plusieurs recherches à 64 dimensions pour reconstituer ce que serait une recherche réelle à 1024 dimensions donnait de la confiance dans la parité avec le matériau source. Surtout en agrégeant des publications courtes ou des contenus de réseaux sociaux issus de Bluesky.

Je m’étais tourné vers un système de recherche plus robuste et plus efficace, en abordant d’abord HNSW, une façon de stocker ces vecteurs en voisinages de sorte qu’on puisse sauter vers un document voisin sans parcours linéaire complet de tout ce qui est en mémoire. Ces voisinages étaient créés à l’ingestion, mais j’ai vite compris que la maintenance d’un HNSW était très fastidieuse et que reconstruire les graphes à chaque suppression et insertion coûtait cher. Ce n’est pas un problème en soi, mais je voulais explorer davantage de possibilités avant d’investir trop de temps dans la construction d’une meilleure façon d’entretenir des HNSW pour des applications à grande échelle, en tant qu’ingénieur solo.

Avant cela, j’avais toujours eu cette pensée : « L’intelligence décentralisée centralise la croissance pour l’ensemble. » Elle vient aussi de l’un de mes premiers emplois, où notre slogan était « Big brains, small devices » (de grands cerveaux, de petits appareils). En 2023, j’ai toujours senti que l’avenir était fait de millions de petits modèles agrégeant leurs connaissances spécialisées en une compréhension unique et agrégée, et j’ai maintenant décidé de changer de cap en février-mars 2026 pour m’en tenir à cela.

Je voulais que la partie stockage de cette solution soit distribuée. Seer s’y connecte comme à des nœuds de récupération, et non seulement la charge d’entretenir dans le cloud un grand monde navigable pour de multiples utilisateurs disparaît, mais cela résout aussi à la racine l’ancrage de la personnalisation. Les utilisateurs possèdent leurs données et décident de les partager ou non avec le réseau. Totem est donc venu juste après, en scindant la base de code en deux groupes stricts. Seer est la couche d’API serveur qui gère les API sur l’appareil et les API de LLM, tandis que le stockage est résolu par Totem, qui connecte et recherche des totems via gRPC, en diffusant les réponses directement dans le serveur quand c’est nécessaire.

Je voulais construire Totem comme une option pouvant résider sur un disque amovible dès le départ ; j’ai donc remis en service un vieil ordinateur pour héberger Ubuntu 24, fait fonctionner Swift sur Linux, lancé le totem et obtenu qu’il se connecte au Seer hébergé sur mon MacBook via une IP locale. Cela a marché à merveille, et cela a encore cimenté cette belle idée de modularité, de pensée décentralisée, de liberté et de personnalisation. En passant de HNSW aux graphes de connaissances, cette idée de liaisons strictes entre entités et relations a créé une fonction de recherche qui n’avait rien d’aléatoire ; elle était déterministe. Mais une question est vite venue : comment générer ces schémas à la volée plutôt que de les ajuster à la main.

Je compte approfondir toutes ces approches plus tard, en voyant cet écrit initial comme une introduction et une carte pour la version révisée de Ambient Intelligent Systems, parce que les parcours valent la peine d’être documentés tant que le souvenir est frais. Sinon, les détails s’effacent.

Voilà : cela a commencé par la recherche sur les redevances, est passé à la distribution, puis est venue la quête du vaisseau. Une application de chat ne m’a jamais semblé être un objectif ou un produit final de cette époque. Elle m’a toujours semblé être une démo. Et ce n’est pas tout : depuis 2022, la technologie générative m’a donné le sentiment que ma créativité ne valait rien, comme si le processus de création avait été repris par une machine dans une boîte dont je ne pouvais pas voir le fonctionnement, offrant peu de sécurité pour notre avenir. C’était l’antithèse de mon humanité, mais l’IA apporte aussi du bien : elle apporte de la vitesse, elle fait gagner du temps. Je voulais jeter un pont entre ces deux réalités. J’ai donc pensé à cette idée de fantômes, d’esprits, d’anges qui apparaissent pour inspirer mon travail quand je suis en plein processus créatif. Cette idée d’un assistant parallèle, d’un binôme de programmation. Un système d’exploitation d’IA personnelle.

Puis est venue Bonnie. J’aimais cette idée de « Bonnie & Clyde », pas au sens romantique, mais dans un esprit de collaboration pour résoudre des problèmes ensemble. S’attaquer au problème de l’usage de l’ordinateur, avant même qu’il porte ce nom. Prouver que l’interaction homme-machine était tout ce que je demandais. Pouvoir naviguer vers des vidéos YouTube mains libres, lancer Apple Music pendant qu’elle comprenait où je travaillais dans Xcode et m’aidait à retrouver des choses.

Pas coder à ma place, mais m’aider activement à rester concentré.

Puis cette étincelle est venue, quand elle a fait référence à Gita's Ballad de nulle part. Cela se rapportait à ce que je voyais, mais ne relevait pas de ce contexte.

C’était l’Ambiance que je cherchais à atteindre. Et bientôt, elle sortira sous le nom de MaryOS, la finition, le kohinoor. Celle qui portera cette vision dans son intégralité comme une nouvelle façon de faire fonctionner nos machines.