Recherche centrale · Architecture ML

Un modèle de langage distribué « Fair Use »

23 octobre 2026rao-studios/AIImodèles de langagemambausage loyalcitationsprovenanceinférence distribuéebraid

Voici une série en quatre parties qui explore l’idée que des modèles de langage personnels peuvent exister sur nos propres machines et contribuer à un modèle plus grand, réduisant le besoin de centres de données tout en générant des citations et en offrant des expériences personnalisées qui assistent nos vies au quotidien, de manière ambiante. Cela paraît trop beau pour être vrai... comme si cela résolvait par magie la plupart des problèmes du statu quo.

Peut-être que oui, peut-être que non, peut-être que c’est naïf, mais il faut bien que quelqu’un essaie, et échoue au moins assez vite pour que d’autres passent à la solution qui atteindra l’équilibre. Je suis certain d’une chose : un équilibre arrive bel et bien, et la seule question est où, quand et comment.

Ce sera une série en quatre parties.

  1. Le chemin vers le « fair use » dans l’IA générative
  2. Ablations : Mamba, Falcon H1, et plus — à venir
  3. Un cadre autour du Fair Use — à venir
  4. Un protocole pour décentraliser l’inférence — à venir

Dans la partie 4 de la série, j’ai l’intention d’aborder un élément intéressant du dossier S-1 d’Anthropic, le Multi-Chip Compute, en étudiant l’entraînement et l’inférence distribués du point de vue de la fédération. L’extrait figure ci-dessous. Braid avec AII sera un projet OSS important pour tester des méthodes qui améliorent l’efficacité en tokens à l’entraînement, notamment autour du concept de « modèle des Communs » et des plus petits modèles Thread entraînés à partir de ses poids, que la partie 1 couvre à un niveau plus général.

Approche du calcul multi-puces. Nous entraînons et servons Claude nativement sur quatre grandes familles de puces (AWS Trainium, Google TPU, GPU NVIDIA et GPU AMD) à l’aide d’une couche d’orchestration propriétaire qui nous permet d’optimiser les charges de travail en fonction du prix et des performances. Cette flexibilité, qui a demandé des années et des investissements considérables à construire et dont nous pensons qu’elle est difficile à reproduire à grande échelle, élargit le calcul dont nous disposons, réduit la dépendance envers un fournisseur unique et nous permet d’acheminer en continu les charges de travail vers le matériel le plus adapté à chacune. Ce socle, associé à la compréhension croissante qu’a Claude des architectures de puces et de modèles, nous permet d’intégrer de nouvelles plateformes de puces en une fraction du temps que cela exigeait autrefois.

La première partie de cette série est une vue d’ensemble de Braid, l’architecture de départ : un modèle de langage Mamba qui cite au niveau du token, préparant les nœuds à un paradigme de modèle de langage distribué. Il est actuellement testé pour la complétion, avant les capacités de questions-réponses, ancrant la compréhension du fair use dans une pratique qui peut être défendue devant un tribunal.

Voici donc la première partie : Le chemin vers le « fair use » dans l’IA générative

Sommaire