Deux mots reviennent dans presque toutes les conversations sur les données d’entraînement, et ils sont la défense à laquelle l’industrie recourt : fair use. Ce que je ne comprends pas, c’est comment l’équilibre qu’ils contiennent a été sauté. Cette seule expression, combinaison de deux mots anglais simples, définit quand et comment on peut utiliser un type de données. Extraire un passage de texte d’une page web pour l’utiliser dans un entraînement se justifie généralement par l’urgence : la course à l’AGI. Je ne trouve pas cela convaincant en soi. L’IA est un moyen en vue d’une fin, la même fin vers laquelle l’informatique optimise depuis que la DARPA a connecté le monde, et la connaissance qu’elle porte devrait être accessible. Mais quelque part en chemin, ce qu’il fallait pour protéger le patrimoine créatif commun a été laissé de côté. Sans cet équilibre, l’idée d’un « internet » n’est pas possible.
Quand une personne prend le temps d’assembler des mots en un document qui donne un savoir à un lecteur, le lecteur extrait ce savoir et peut ensuite contribuer plus efficacement à la société, en le remixant sous la forme d’un retour quelconque, qu’il s’agisse d’une nouvelle fonctionnalité d’UX dans son application ou d’un ajout à son propre billet de blog. L’idée d’open source ne s’applique pas seulement au code. Elle s’applique à la façon dont le monde partage l’intelligence et évolue ensemble. « Décentraliser l’intelligence centralise la croissance pour l’ensemble. »
Quand ce savoir est pris sans consentement pour entraîner des machines de pensée cloisonnées et compressées qui ne peuvent pas créditer les personnes qui ont produit ces parcours d’apprentissage, l’essence, l’équilibre, l’idée même d’internet commence à s’éroder. Mon objection ne vise pas les machines qui lisent le web public : la recherche le fait, et le détecteur que je construis aussi. Elle vise les systèmes génératifs qui absorbent le travail des gens et le rendent sans consentement, sans crédit ni compensation. Je crois que la « théorie de l’internet mort » est réversible, et que le renversement commence par la construction de solutions : les tribunaux s’adaptent encore, et il n’existe pas encore d’alternative fonctionnelle à citer quand reviennent les arguments habituels pour collecter des données d’entraînement sans consentement.
Je ne crois pas que l’« AGI » soit l’objectif qui compte le plus. Les humains évoluent, et l’IA prouvera surtout que les humains passent à l’échelle : un modèle sera toujours en course pour rassembler plus de connaissances, de toutes les sources qu’il peut atteindre, simplement pour suivre le rythme auquel les gens s’adaptent aux systèmes qui les entourent. Cette course ne finit jamais, et je parierai toujours sur l’humain pour déjouer une machine. Le problème de l’intelligence est donc mal formulé. Les données devraient appartenir clairement à l’individu, privées et personnelles, et être louées à la demande aux systèmes qui les agrègent.
Les grands modèles de langage sont, à leur cœur, des agrégats de sources au sein d’un corpus de données. Cet agrégat peut être cité en retour jusqu’à ses sources, et cette vérité devrait être exposée et transparente plutôt qu’entassée dans un bucket S3, en attendant d’être tirée pour une nouvelle époque d’entraînement.
Cela appelle un cadre : l’architecture et les bonnes unités de stockage pour faire exactement cela. Le progrès à la frontière ne conserve sa crédibilité que si les routes sont pavées en chemin. Sinon, la crédibilité de l’invention même dans laquelle des milliards sont investis vacille, aux dépens des personnes qui ont aidé à la construire au départ. Les créatifs, les intellectuels, le patrimoine commun.