ML adversarial

Veil & Scorpion

12 septembre 2026modèles de diffusionmémorisationconsentementprovenancepolitiques publiquesdeepfakesdroit

La détection des deepfakes est un problème difficile, et il le restera longtemps — la précision y est une lente ascension, non un interrupteur qu’on actionne. L’approche à laquelle je reviens sans cesse est agnostique du modèle : ne pas construire une solution qu’il faut réapprendre chaque fois qu’apparaît une nouvelle architecture ou une nouvelle méthode générative, car c’est une course que l’on perd par construction. Essayer plutôt de lire la vérité dans les pixels eux-mêmes, sous la forme où elle survit — savoir si l’image est sortie ou non d’un capteur de caméra physique, si une région a été retouchée parce que le grain et les pixels voisins autour d’elle ont cessé de se comporter comme du grain. C’est toute la prémisse de CLR, le détecteur fondé d’abord sur la physique que je construis : le but est de ne pas demander ce qui a produit l’image, seulement si ce qui y reste est cohérent avec une capture. Mes propres tests ont montré où ce but tient et où il s’arrête, et les générateurs plus récents doivent encore être couverts par des données.

En travaillant là-dessus, et sur une proposition antérieure de ma part — un Candidate Likeness Registry — j’ai réuni assez d’éléments pour croire que ce problème est réellement soluble. Mais une détection soluble n’est pas la même chose qu’un public qui se sent en sécurité. Si le seul outil disponible attrape un faux après qu’il a déjà été généré et diffusé, vous avez construit une très bonne autopsie. Pour approcher un tant soit peu un sentiment de sécurité dans le domaine public, le problème doit être traité à la source, et pas seulement diagnostiqué en aval. C’est ce qui m’a poussé vers Veil et Scorpion.

Scorpion détermine si un modèle de base ou un adaptateur affiné a été entraîné sur une image cible précise. Veil vérifie si un modèle est seulement capable de produire quelque chose de proche d’une image cible — entraîné dessus ou non — et, si c’est le cas, construit l’adaptateur qui ferme cette route. Les deux sont conçus pour s’exécuter avant que le modèle ou le fine-tuning ne soit livré, non après.

Diagramme
Rendu du diagramme
Diagramme
Rendu du diagramme

Scorpion : un contrôle de mémorisation à l’entrée

La version de Scorpion que je veux réellement voir livrée n’est pas un outil auquel un avocat recourt après que quelque chose a déjà mal tourné. C’est une étape du pipeline de téléversement. Il fonctionnerait en partenariat avec un hébergeur de modèles comme Hugging Face, ou quiconque héberge des poids de modèles à grande échelle : quand quelqu’un téléverse un nouveau modèle d’image ou de texte vers image, celui-ci passe d’abord par un contrôle de mémorisation face à un registre de personnes protégées — un antivirus, mais pour la mémorisation, vérifié face au genre exact de registre que j’ai d’abord esquissé sous le nom de Candidate Likeness Registry. C’est la première étape, et elle compte parce que c’est le seul point de tout le pipeline où l’on arrête la distribution à la source au lieu de courir après ce qu’un modèle a produit une fois qu’il est déjà dehors et interrogé par des inconnus.

Cette même mesure est aussi ce qui rend Scorpion utile dans la salle où un contrôle de portier n’arrive jamais : un tribunal, pour un modèle antérieur au contrôle, ou un litige sur un modèle qui a été rejeté. Les tribunaux ne travaillent pas avec des probabilités qui semblent justes — il leur faut des preuves qui résistent au contre-interrogatoire pour qu’une affirmation sur les données d’entraînement tienne, et un modèle de milliards de paramètres dilue tout élément unique du matériel d’entraînement dans tant de l’espace des poids que « nous ne pouvons pas être sûrs que cette image s’y trouvait » est une défense véritablement raisonnable sans mesure directe derrière elle. Le résultat de Scorpion est calibré sur des images que le modèle n’a jamais vues et confirmé sur un tirage indépendant, restitué sous forme de carte thermique sur l’image même de la personne, avec une valeur p attachée — assez précis pour guider un juge pas à pas, pas seulement assez persuasif pour convaincre une section de commentaires.

Veil : la question qu’un contrôle de mémorisation ne peut pas trancher

Un modèle peut synthétiser une ressemblance précise sans jamais avoir mémorisé la photo de cette personne — il lui suffit d’avoir appris assez de visages apparentés pour généraliser dans l’espace vide. C’est la moitié la plus difficile de ce problème, et c’est exactement là qu’un contrôle de mémorisation réussi donne un faux confort : prouver qu’un modèle n’a pas vu un visage particulier est bien plus difficile que prouver qu’il l’a vu, et « nous n’avons trouvé aucune preuve de mémorisation » n’est pas la même affirmation que « ce modèle ne peut pas produire cette personne ». La charge de la preuve s’inverse selon le côté de cette ligne où l’on se trouve. Scorpion apporte le mordant juridique et technique quand la réponse est oui. Veil existe parce que la réponse non ne résout rien. Des mesures proactives peuvent donc encore être construites à la source pour éviter d’avoir besoin de Scorpion, en coupant le problème avant qu’il ne se propage.

Veil mesure directement l’accessibilité — dans quelle mesure nommer ou décrire une personne protégée aide réellement le modèle à débruiter ses propres photos mises de côté, par rapport au même prompt où le nom est remplacé par « une personne » — que cette capacité vienne de la mémorisation d’une photo ou de la généralisation à travers mille photos dont aucune n’était exactement elle.

Je le dis franchement : le garde-fou de Veil peut être retiré par fine-tuning par quiconque est assez déterminé et dispose des poids ouverts. Mais une personne qui retire délibérément un garde-fou d’un modèle pour atteindre une personne, une identité ou un matériel protégé par le droit d’auteur précis a fait quelque chose d’univoque, et rejoint une population bien plus petite, bien plus identifiable que tous ceux qui peuvent télécharger un modèle qui n’a jamais eu de garde-fou. Faire en sorte que le chemin nuisible exige un acte de contournement détectable est l’essentiel du travail. Il n’a pas besoin d’être impossible pour valoir la peine d’être construit.

Diagramme
Rendu du diagramme

La détection est le filet de sécurité, non la ligne de front

Le rôle de CLR, dans cet agencement, est plus étroit que ce que j’avais d’abord formulé. Ce n’est pas la défense principale — c’est ce qui attrape tout ce qui surgit de modèles sortis dans le monde avant que le contrôle de mémorisation et le contrôle d’accessibilité n’existent pour les arrêter à la source. Une fois ce portail solide, la détection cesse de porter seule tout le risque sur ses épaules et devient de l’entretien : nettoyer les productions de modèles antérieurs au correctif, plutôt que d’être la seule chose entre le public et chaque nouveau modèle livré. C’est une tâche plus légère, et elle devrait l’être — les fondations sont censées faire le travail porteur.

Les services fermés journalisent déjà les requêtes, ce qui facilite en effet un peu, après coup, la remontée d’une production héritée jusqu’à sa source. Mais « plus facile à retracer après coup » reste réactif, et je ne pense pas que la politique doive vivre là. Je crois à une politique proactive, non réactive — arrêter à l’entrée le modèle qui a mémorisé quelqu’un, fermer la route par laquelle un modèle peut encore l’atteindre même sans rien avoir mémorisé, et réserver la détection à l’arriéré antérieur aux deux.

Ce qui reste une fois les trois en marche est petit et précis : des gens ayant la capacité technique de retirer un garde-fou de poids ouverts, d’échapper à un détecteur fondé sur la physique, et de le faire avec une intention claire. Cela n’allait jamais être attrapé par un outil de détection seul, et c’est le même genre de mésusage délibéré sur lequel les équipes de sécurité se concentrent déjà, avec ou sans modèles génératifs dans le tableau. Personne ne peut empêcher quelqu’un d’écrire un guide qui apprend à d’autres à retirer une mesure de protection — c’est simplement vrai. Mais c’est exactement pourquoi la séparation est utile : elle transforme une peur amorphe en un signal précis, repérable — un petit ensemble précis d’actes délibérés à instruire, au lieu de traiter toute une industrie, et tous ceux qui l’utilisent de bonne foi, comme une partie permanente d’Among Us où nul ne peut être sûr de qui est faux et nul ne peut être sûr que celui qui l’accuse le fait équitablement.