ML adversarial
Attribution Decay
Sur la différence entre ce qu’un modèle a lu et ce qui aurait changé s’il ne l’avait pas lu.
Zheng Dai et David Gifford ont publié cette semaine un article dans Nature Communications (couverture de MIT News) soutenant que les sorties des modèles de diffusion génératifs sont souvent inattribuables. Ils nomment le phénomène central attribution decay : plus un modèle est entraîné sur de données, moins un exemple d’entraînement individuel compte pour une sortie particulière. Au-delà d’une certaine échelle, on peut retirer une seule image, ou toutes les œuvres d’un artiste, ou toutes les photographies d’une personne, et l’échantillon généré ne change pas.
Vient ensuite la phrase sur laquelle la couverture s’est construite, dans les mots de MIT News :
Et si retirer quelque chose ne change rien, soutiennent les chercheurs, on ne peut pas dire que cela soit responsable de quoi que ce soit.
Ce n’est pas une mesure. C’est une inférence causale posée par-dessus une mesure, et c’est la seule partie de l’histoire avec laquelle je veux discuter.
Ce que l’article a bien compris
La mesure est bonne, et je veux être précis sur la raison avant de contester ce qui en a été conclu.
La façon honnête de demander ce que ce modèle aurait produit s’il n’avait jamais vu cette image, c’est de réentraîner depuis zéro sans elle, ce qui est absurde en calcul à toute échelle intéressante. La réponse de Dai et Gifford est celle des Ablation Based Counterfactuals : entraîner des composants de modèle indépendants sur des découpages différents mais qui se recoupent du jeu d’entraînement, les combiner en un seul modèle, et retirer l’influence causale d’un échantillon d’entraînement en ablatant les composants qui l’ont vu. Pas de réentraînement. Ils l’ont exécuté sur 24 ensembles et sept jeux de données publics, dont CIFAR-10, CelebA, MetFaces et ArtBench, de 256 images à plus de 160 000, et ont validé l’approximation sur 1 282 modèles réentraînés par force brute à petite échelle.
Je pense aussi l’avoir déjà vu, depuis l’autre côté. Au chapitre 2 de mon journal CLR, écrit avant que j’aie entendu parler de cet article, l’argument de durabilité d’un détecteur fondé sur la physique repose exactement sur cette observation : davantage de données et de paramètres rendent la variété générative plus lisse, pas plus physique. Le lissage est intrinsèque à l’optimisation vers une cible. À mesure que le corpus grandit, la fonction de score apprise devient plus régulière, et la sensibilité locale à une donnée quelconque diminue. L’attribution decay, c’est cette régularité, vue à travers une sonde de retrait.
Ce qui est le désaccord en une phrase. Ils ont trouvé une propriété de l’estimateur. Ce qui a été rapporté était une propriété de la provenance.
« Si le retirer ne change rien, ce n’est responsable de rien » est de la causalité « but-for » (sans quoi, non), et la causalité « but-for » a un mode de défaillance célèbre : la surdétermination.
Dix tireurs font feu en même temps. Retirez-en un et la victime meurt quand même ; aucune balle n’est donc une cause « but-for », donc, selon ce raisonnement, personne n’a tiré sur personne. Deux incendies convergent sur une maison que l’un ou l’autre aurait brûlée seul. Aucun n’est nécessaire ; la maison est quand même en cendres. Ce n’est pas un cas limite que quelqu’un a découvert récemment.
La robustesse sous ablation est une empreinte, pas un alibi
Voici l’inversion que je suis réellement venu écrire.
L’hypothèse de reconstruction sur laquelle CLR est construit dit : si quelque chose peut être détruit et ne jamais être parfaitement ramené, cela suggère que c’était réel. Si quelque chose peut être détruit puis reconstruit, cela suggère que c’était généré. Fragilité égale réalité. Récupérabilité égale simulation.
Une photographie réelle est la sortie d’une chaîne physique irréversible : optique, capteur, bruit lié à un morceau de silicium précis à un moment précis. Endommagez-la et le dommage reste. Une image générée est la sortie d’une trajectoire de débruitage plusieurs-à-un sur une variété apprise lisse. Endommagez-la et la variété la guérit.
Dai et Gifford ont retiré des pièces d’un système génératif et observé que la sortie guérissait ; la lecture proposée est qu’il n’y avait pas d’auteur. J’ai exécuté la sonde structurellement identique, observé la même guérison, et conclu que la guérison elle-même est la signature du processus génératif. Même absence. Verdicts opposés.
Je ne pense pas que les deux lectures puissent être justes, et c’est peut-être moi qui ai tort. Mais j’aimerais laisser cette affirmation reposer pendant que je rassemble davantage de preuves contre l’idée qu’on « ne peut pas dire que cela soit responsable de quoi que ce soit ».
Vous ne détectez pas l’IA. Vous détectez l’absence d’une histoire. L’authenticité n’est pas une qualité qu’on peut synthétiser : c’est un résidu d’avoir été causé.
La part qui est un choix de conception
L’attribution decay est une propriété d’une architecture. Ce n’est pas une propriété de la génération d’images.
L’affirmation selon laquelle on ne peut pas retracer une sortie jusqu’à une image d’entraînement suppose que l’entraînement a dissous l’image : que N images sont entrées dans un seul tenseur de poids partagé par descente de gradient et en sont sorties en une bavure inséparable. Sous cette hypothèse, l’article a raison et le problème inverse est vraiment mal posé.
Il n’a donc pas à être construit ainsi.
La moitié générative de ce sur quoi je travaille dans Obscur est un système que j’appelle un signet : un modèle d’image personnel distillé à partir des propres captures signées de quelqu’un. Le modèle de base est figé et le reste. Chaque image source est ingérée sans gradients, et apporte ses propres lignes adressables à une banque d’attention, indexées par un hash de contenu de ses octets : l’identité est cryptographique plutôt que statistique, donc il n’y a pas de problème d’appariement qui puisse se dégrader. Ajouter une image insère des lignes. En retirer une supprime exactement ces lignes et rien d’autre. Pas de réentraînement, pas de résidu.
Et cela fait ressortir la distinction que le cadrage de l’article, à mon sens, écrase. Le système enregistre deux quantités indépendantes par région : combien le modèle a lu là, et combien cette région a réellement changé par rapport à la trajectoire de base à graine identique.
L’article a mesuré changé ; la conclusion qu’on en tire traite lu comme nul.
Je m’en tiendrai au même critère que celui que j’applique. Cette vue d’attribution est étiquetée, à l’écran, comme une trace de ce que le modèle a lu, pas une preuve d’influence perceptuelle, et je le pense. Lire n’est pas influencer. Mais c’est un fait sur le processus avant, enregistré au moment où il s’est produit, et aucune échelle ne l’érode, parce que rien n’est inféré à rebours à travers une bavure.
Les limites honnêtes : les signets attribuent un corpus personnel injecté à l’inférence, pas le jeu de pré-entraînement d’un modèle de fondation ; cette distinction est la lecture juste de l’affirmation de l’article et je ne ferai pas semblant du contraire. Il n’y a pas encore de rail de paiement côté visuel, seulement la trace. Et CLR n’a jamais rien attribué à des données d’entraînement ; il m’a donné la méthodologie et le reçu, pas une réfutation de la loi d’échelle de qui que ce soit.
Mais la conclusion que je tire de cette limite est l’opposé de celle qu’on propose. Si l’attribution survit quand un travail sous licence entre à l’inférence et meurt quand il entre par descente de gradient, c’est un argument sur l’endroit du pipeline où l’on laisse entrer le travail des autres, pas la preuve que la responsabilité s’évapore dès qu’on en a pris assez.
La porter, pas la récupérer
L’article prouve qu’un problème inverse est mal posé. La bonne réponse à un problème inverse mal posé est d’instrumenter le processus avant, pas de conclure que le processus avant n’a jamais eu lieu.
C’est la raison entière pour laquelle CLR s’est tourné vers la provenance.
Ce que je dirais à la version la plus forte de l’argument. « Inattribuable » n’est pas un fait découvert sur une image générée. C’est la description d’un pipeline qui a refusé de garder un reçu, rapportée comme si c’était une propriété de l’univers.
Personne n’a prouvé que les données ne comptaient pas. Ce que la mesure montre, c’est qu’un pipeline qui ne garde aucune trace ne peut pas vous le dire après coup.