Adversarial ML
Veil & Scorpion
Deepfake-Erkennung ist ein schwieriges Problem, und es wird noch lange schwierig bleiben – Präzision ist hier ein langsamer Aufstieg, kein Schalter, den man umlegt. Der Ansatz, zu dem ich immer wieder zurückkehre, ist modellagnostisch: keine Lösung bauen, die jedes Mal neu angelernt werden muss, wenn eine neue Architektur oder generative Methode auftaucht, denn dieses Rennen verliert man konstruktionsbedingt. Stattdessen versuchen, die Wahrheit aus den Pixeln selbst herauszulesen, in welcher Form sie auch überlebt – ob das Bild überhaupt von einem physischen Kamerasensor stammt, ob eine Region bearbeitet wurde, weil das Korn und die benachbarten Pixel darum herum aufgehört haben, sich wie Korn zu verhalten. Das ist die ganze Prämisse hinter CLR, dem physikbasierten Detektor, an dem ich baue: Das Ziel ist zu fragen, nicht was das Bild erzeugt hat, sondern nur, ob das, was darin übrig ist, damit vereinbar ist, aufgenommen worden zu sein. Meine eigenen Tests haben gezeigt, wo dieses Ziel trägt und wo es endet, und neuere Generatoren müssen noch mit Daten abgedeckt werden.
Die Arbeit daran und ein früherer Vorschlag von mir – ein Candidate Likeness Registry – haben mir genug Belege geliefert, um zu glauben, dass dieses Problem tatsächlich lösbar ist. Aber lösbare Erkennung ist nicht dasselbe wie eine Öffentlichkeit, die sich sicher fühlt. Wenn das einzige Werkzeug in der Hand eine Fälschung fängt, nachdem sie bereits erzeugt und verbreitet wurde, hat man eine sehr gute Autopsie gebaut. Um auch nur in die Nähe eines Sicherheitsgefühls in der Öffentlichkeit zu kommen, muss das Problem an der Quelle angegangen werden, nicht nur stromabwärts davon diagnostiziert. Das hat mich zu Veil und Scorpion gebracht.
Scorpion beantwortet, ob ein Basismodell oder ein feinabgestimmter Adapter auf einem bestimmten Zielbild trainiert wurde. Veil prüft, ob ein Modell überhaupt in der Lage ist, etwas zu erzeugen, das einem Zielbild nahekommt – darauf trainiert oder nicht – und baut, falls ja, den Adapter, der diese Route schließt. Beide sind dafür gedacht, zu laufen, bevor das Modell oder das Fine-Tuning je ausgeliefert wird, nicht danach.
Scorpion: eine Memorisierungsprüfung an der Tür
Die Version von Scorpion, die ich tatsächlich ausgeliefert sehen will, ist kein Werkzeug, nach dem ein Anwalt greift, wenn bereits etwas schiefgegangen ist. Es ist ein Schritt in der Upload-Pipeline. Sie würde in Partnerschaft mit einem Modell-Host wie Hugging Face laufen, oder mit jedem anderen, der Modellgewichte im großen Maßstab hostet: Wenn jemand ein neues Bild- oder Text-zu-Bild-Modell hochlädt, durchläuft es zuerst eine Memorisierungsprüfung gegen ein Register geschützter Personen – ein Virenscan, aber für Memorisierung, geprüft gegen genau die Art Register, die ich zuerst als Candidate Likeness Registry skizziert habe. Das ist Schritt eins, und er ist wichtig, weil es der einzige Punkt in der ganzen Pipeline ist, an dem man die Verbreitung an der Quelle stoppt, statt dem hinterherzujagen, was ein Modell erzeugt hat, sobald es schon draußen ist und von Fremden abgefragt wird.
Dieselbe Messung macht Scorpion auch in dem Raum nützlich, den eine Torwächter-Prüfung nie erreicht: einem Gerichtssaal, für ein Modell, das älter ist als die Prüfung, oder bei einem Streit über eines, das abgelehnt wurde. Gerichte arbeiten nicht mit Wahrscheinlichkeiten, die sich richtig anfühlen – sie brauchen Beweise, die einem Kreuzverhör standhalten, bevor eine Behauptung über Trainingsdaten Bestand hat, und ein Modell mit Milliarden von Parametern verdünnt jedes einzelne Trainingsmaterial über so viel vom Gewichtsraum, dass „wir können nicht sicher sein, dass dieses Bild darin war“ ohne direkte Messung eine wirklich vernünftige Verteidigung ist. Scorpions Ergebnis ist gegen Bilder kalibriert, die das Modell nie gesehen hat, und an einer unabhängigen Stichprobe bestätigt, als Heatmap über dem eigenen Bild der Person mit angehängtem p-Wert zurückgegeben – präzise genug, um einen Richter hindurchzuführen, nicht nur überzeugend genug für einen Kommentarbereich.
Veil: die Frage, die eine Memorisierungsprüfung nicht klären kann
Ein Modell kann eine bestimmte Ähnlichkeit synthetisieren, ohne das Foto dieser Person je memorisiert zu haben – es muss nur genug verwandte Gesichter gelernt haben, um in die Lücke hinein zu generalisieren. Das ist die schwierigere Hälfte dieses Problems, und genau da gibt eine bestandene Memorisierungsprüfung falsche Sicherheit: Zu beweisen, dass ein Modell ein bestimmtes Gesicht nicht gesehen hat, ist weit schwerer, als zu beweisen, dass es das hat, und „wir fanden keinen Hinweis auf Memorisierung“ ist nicht dieselbe Aussage wie „dieses Modell kann diese Person nicht erzeugen“. Die Beweislast kehrt sich um, je nachdem, auf welcher Seite dieser Linie man steht. Scorpion trägt die rechtlichen und technischen Zähne, wenn die Antwort Ja lautet. Veil existiert, weil ein Nein nichts löst. Es lassen sich also weiterhin proaktive Maßnahmen an der Quelle bauen, um die Notwendigkeit von Scorpion gar nicht erst entstehen zu lassen und das Problem abzuschneiden, bevor es sich ausbreitet.
Veil misst Erreichbarkeit direkt – wie sehr das Benennen oder Beschreiben einer geschützten Person dem Modell tatsächlich hilft, deren eigene zurückgehaltene Fotos zu entrauschen, verglichen mit demselben Prompt, in dem der Name durch „eine Person“ ersetzt ist –, unabhängig davon, ob diese Fähigkeit vom Memorisieren eines Fotos kam oder vom Generalisieren über tausend Fotos, von denen keines je genau diese Person war.
Ich sage es offen: Der Veil-Schutz kann von jedem, der entschlossen genug ist und die offenen Gewichte in der Hand hat, wieder herausgetunt werden. Aber ein Mensch, der absichtlich einen Schutz von einem Modell entfernt, um eine bestimmte Person, Identität oder urheberrechtlich geschütztes Material zu erreichen, hat etwas Eindeutiges getan und gehört zu einer weit kleineren, weit besser identifizierbaren Gruppe als alle, die ein Modell herunterladen können, das nie einen Schutz hatte. Den schädlichen Weg zu einem erkennbaren Akt der Umgehung zu machen, ist der größte Teil der Aufgabe. Es muss nicht unmöglich sein, um den Bau wert zu sein.
Erkennung ist das Sicherheitsnetz, nicht die Frontlinie
CLRs Aufgabe ist in dieser Anordnung enger, als ich sie ursprünglich gefasst hatte. Es ist nicht die primäre Verteidigung – es fängt auf, was aus Modellen auftaucht, die in die Welt gelangten, bevor es Memorisierungsprüfung und Erreichbarkeitsprüfung gab, um sie an der Quelle zu stoppen. Sobald dieses Tor solide ist, trägt die Erkennung das ganze Risiko nicht mehr allein auf ihren Schultern und wird zur Hausarbeit: Erzeugnisse von Modellen aufräumen, die älter sind als die Lösung, statt als Einziges zwischen der Öffentlichkeit und jedem neuen Modell zu stehen, das ausgeliefert wird. Das ist eine leichtere Aufgabe, und so soll es sein – das Fundament soll die tragende Arbeit leisten.
Geschlossene Dienste protokollieren Anfragen bereits, was es im Nachhinein etwas leichter macht, ein altes Erzeugnis zu seiner Quelle zurückzuverfolgen. Aber „im Nachhinein leichter zurückzuverfolgen“ ist immer noch reaktiv, und ich glaube nicht, dass Politik dort leben sollte. Ich glaube an proaktive Politik, nicht an reaktive – das Modell, das jemanden memorisiert hat, an der Tür stoppen, die Route schließen, über die ein Modell eine Person auch ohne Memorisierung noch erreichen kann, und die Erkennung für den Rückstau reservieren, der beides vorausgeht.
Was übrig bleibt, wenn alle drei laufen, ist klein und spezifisch: Menschen mit der technischen Fähigkeit, einen Schutz von offenen Gewichten zu entfernen, einen physikbasierten Detektor zu umgehen und das mit klarer Absicht zu tun. Das wäre durch ein Erkennungswerkzeug allein nie gefangen worden, und es ist dieselbe Art von vorsätzlichem Missbrauch, auf die sich Sicherheitsteams ohnehin konzentrieren, mit oder ohne generative Modelle im Bild. Niemand kann jemanden daran hindern, eine Anleitung zu schreiben, die anderen beibringt, eine Schutzmaßnahme zu entfernen – das ist einfach wahr. Aber genau deshalb ist die Aufteilung nützlich: Sie verwandelt eine amorphe Angst in ein spezifisches, auffindbares Signal – eine kleine, spezifische Menge vorsätzlicher Handlungen, denen man nachgehen kann, statt eine ganze Branche und alle, die sie in gutem Glauben nutzen, wie ein dauerhaftes Spiel von Among Us zu behandeln, bei dem niemand sicher sein kann, wer falsch ist, und niemand sicher sein kann, ob ihn der Ankläger fair beschuldigt.