Adversarial ML

Attribution Decay

20. August 2026synthetische MedienHerkunftsnachweisDiffusionAttributionKausalitätUrheberrecht

Über den Unterschied zwischen dem, was ein Modell gelesen hat, und dem, was sich geändert hätte, wenn es das nicht getan hätte.

Zheng Dai und David Gifford haben diese Woche ein Paper in Nature Communications veröffentlicht (Berichterstattung von MIT News), das argumentiert, dass die Ausgaben generativer Diffusionsmodelle oft nicht zuordenbar sind. Sie nennen das zentrale Phänomen Attribution Decay: Je mehr Daten ein Modell zum Training sieht, desto weniger zählt irgendein einzelnes Trainingsbeispiel für irgendeine bestimmte Ausgabe. Ab einer gewissen Größenordnung kann man ein einzelnes Bild entfernen, oder alle Werke eines Künstlers, oder alle Fotografien einer Person, und das generierte Sample ändert sich nicht.

Dann kommt der Satz, auf dem die Berichterstattung aufgebaut wurde, in den Worten von MIT News:

Und wenn das Entfernen von etwas nichts ändert, so argumentieren die Forscher, kann man nicht sagen, dass es für irgendetwas verantwortlich ist.

Das ist keine Messung. Es ist ein kausaler Schluss, der auf eine Messung gelegt wurde, und es ist der einzige Teil der Geschichte, mit dem ich streiten möchte.

Was das Paper richtig macht

Die Messung ist gut, und ich möchte genau sagen, warum, bevor ich Einwände gegen das erhebe, was daraus gefolgert wurde.

Der ehrliche Weg, zu fragen, was dieses Modell erzeugt hätte, wenn es dieses Bild nie gesehen hätte, ist, ohne es von Grund auf neu zu trainieren, was in jeder interessanten Größenordnung rechnerisch absurd ist. Dais und Giffords Antwort sind Ablation Based Counterfactuals: unabhängige Modellkomponenten auf verschiedenen, aber überlappenden Aufteilungen des Trainingssatzes trainieren, sie zu einem einzigen Modell kombinieren und den kausalen Einfluss eines Trainingsbeispiels entfernen, indem man die Komponenten ablatiert, die es gesehen haben. Kein Neutraining. Sie haben das über 24 Ensembles auf sieben öffentlichen Datensätzen laufen lassen – darunter CIFAR-10, CelebA, MetFaces und ArtBench –, von 256 Bildern bis über 160.000, und die Näherung gegen 1.282 per Brute Force neutrainierte Modelle im kleinen Maßstab validiert.

Ich glaube auch, dass ich es schon einmal gesehen habe, von der anderen Seite. In Kapitel 2 meines CLR-Logs, geschrieben, bevor ich von diesem Paper gehört hatte, beruht das Dauerhaftigkeitsargument für einen physikalisch fundierten Detektor genau auf dieser Beobachtung: Mehr Daten und Parameter machen die generative Mannigfaltigkeit glatter, nicht physikalischer. Glättung ist der Optimierung auf ein Ziel hin inhärent. Wächst der Korpus, wird die gelernte Score-Funktion regelmäßiger, und die lokale Empfindlichkeit gegenüber einem einzelnen Datum nimmt ab. Attribution Decay ist diese Regelmäßigkeit, betrachtet durch eine Entfernungssonde.

Das ist die Meinungsverschiedenheit in einem Satz. Sie haben eine Eigenschaft des Schätzers gefunden. Berichtet wurde eine Eigenschaft der Herkunft.

„Wenn das Entfernen nichts ändert, ist es für nichts verantwortlich“ ist But-for-Kausalität, und But-for-Kausalität hat einen berühmten Fehlermodus: Überdetermination.

Zehn Schützen feuern gleichzeitig. Entfernt man einen, stirbt das Opfer trotzdem, also ist keine Kugel eine But-for-Ursache, also – nach dieser Logik – hat niemand jemanden erschossen. Zwei Feuer laufen auf ein Haus zu, das jedes allein niedergebrannt hätte. Keines ist notwendig; das Haus ist trotzdem Asche. Das ist kein Randfall, den jemand erst kürzlich entdeckt hätte.

Robustheit unter Ablation ist ein Fingerabdruck, kein Alibi

Hier ist die Umkehrung, die ich eigentlich schreiben wollte.

Die Rekonstruktionshypothese, auf der CLR aufbaut, besagt: Wenn etwas zerstört werden kann und nie perfekt zurückgebracht wird, deutet das darauf hin, dass es echt war. Wenn etwas zerstört und dann rekonstruiert werden kann, deutet das darauf hin, dass es generiert wurde. Zerbrechlichkeit bedeutet Echtheit. Wiederherstellbarkeit bedeutet Simulation.

Eine echte Fotografie ist das Ergebnis einer irreversiblen physikalischen Kette – Optik, Sensor, Rauschen, gebunden an ein bestimmtes Stück Silizium in einem bestimmten Moment. Beschädigt man sie, bleibt der Schaden. Ein generiertes Bild ist das Ergebnis einer Viele-zu-eins-Entrauschungstrajektorie über einer glatten gelernten Mannigfaltigkeit. Beschädigt man es, heilt die Mannigfaltigkeit es.

Dai und Gifford haben Teile eines generativen Systems entfernt und beobachtet, dass die Ausgabe heilte; die angebotene Lesart ist, dass es keinen Urheber gab. Ich habe die strukturell identische Sonde laufen lassen, dieselbe Heilung beobachtet und gefolgert, dass die Heilung selbst die Signatur des generativen Prozesses ist. Dieselbe Abwesenheit. Gegenteilige Urteile.

Ich glaube nicht, dass beide Lesarten richtig sein können, und vielleicht bin ich derjenige, der falschliegt. Aber ich möchte diese Behauptung stehen lassen, während ich weitere Belege gegen die Idee sammle, dass man „nicht sagen kann, dass es für irgendetwas verantwortlich ist“.

Sie erkennen nicht KI. Sie erkennen das Fehlen einer Geschichte. Authentizität ist keine Qualität, die man synthetisieren kann – sie ist ein Rückstand davon, verursacht worden zu sein.

Der Teil, der eine Designentscheidung ist

Attribution Decay ist eine Eigenschaft einer Architektur. Sie ist keine Eigenschaft der Bilderzeugung.

Die Behauptung, man könne eine Ausgabe nicht auf ein Trainingsbild zurückführen, setzt voraus, dass das Training das Bild aufgelöst hat – dass N Bilder per Gradientenabstieg in einen gemeinsamen Gewichtstensor gegangen und als untrennbarer Schmierfilm wieder herausgekommen sind. Unter dieser Annahme hat das Paper recht, und das inverse Problem ist wirklich schlecht gestellt.

Es muss also nicht so gebaut werden.

Die generative Hälfte dessen, woran ich in Obscur arbeite, ist ein System, das ich Signet nenne: ein persönliches Bildmodell, destilliert aus den eigenen signierten Aufnahmen einer Person. Das Basismodell ist eingefroren und bleibt es. Jedes Quellbild wird ohne Gradienten aufgenommen und trägt eigene adressierbare Zeilen zu einer Attention Bank bei, indiziert durch einen Content-Hash seiner Bytes – Identität ist kryptografisch statt statistisch, sodass es kein Zuordnungsproblem gibt, das zerfallen könnte. Ein Bild hinzuzufügen fügt Zeilen ein. Eines zu entfernen löscht genau diese Zeilen und nichts sonst. Es gibt kein Neutraining und keinen Rückstand.

Und das bringt die Unterscheidung ans Licht, die der Rahmen des Papers meiner Meinung nach kollabieren lässt. Das System zeichnet pro Region zwei unabhängige Größen auf: wie viel das Modell dort gelesen hat, und wie stark sich diese Region tatsächlich verändert hat, relativ zur Basistrajektorie mit demselben Seed.

Das Paper hat verändert gemessen; die daraus gezogene Schlussfolgerung behandelt gelesen als null.

Ich messe mich am selben Maßstab, den ich anlege. Diese Attributionsansicht ist auf dem Bildschirm beschriftet als eine Aufzeichnung dessen, was das Modell gelesen hat – kein Beweis für wahrnehmbaren Einfluss, und das meine ich ernst. Lesen ist nicht Einfluss. Aber es ist eine Tatsache über den Vorwärtsprozess, in dem Moment aufgezeichnet, in dem sie geschah, und kein Maßstab nagt daran – weil nichts rückwärts durch einen Schmierfilm erschlossen wird.

Die ehrlichen Grenzen: Signets ordnen einen persönlichen Korpus zu, der bei der Inferenz eingespeist wird, nicht den Pretraining-Datensatz eines Foundation-Modells – diese Unterscheidung ist die faire Lesart der Behauptung des Papers, und ich werde nicht so tun, als wäre es anders. Auf der visuellen Seite gibt es noch keine Zahlungsschiene, nur die Aufzeichnung. Und CLR hat nie etwas Trainingsdaten zugeordnet; es hat mir die Methodik und den Beleg gegeben, keine Widerlegung irgendjemandes Skalierungsgesetz.

Aber die Schlussfolgerung, die ich aus dieser Grenze ziehe, ist das Gegenteil der angebotenen. Wenn Attribution überlebt, wenn lizenzierte Werke bei der Inferenz eingehen, und stirbt, wenn sie per Gradientenabstieg eingehen, dann ist das ein Argument darüber, an welcher Stelle der Pipeline man die Arbeit anderer hineinlässt – nicht der Beweis, dass Verantwortung verdunstet, sobald man genug davon genommen hat.

Tragen, nicht wiederherstellen

Das Paper beweist, dass ein inverses Problem schlecht gestellt ist. Die richtige Antwort auf ein schlecht gestelltes inverses Problem ist, den Vorwärtsprozess zu instrumentieren, nicht zu folgern, dass der Vorwärtsprozess nie stattgefunden hat.

Das ist der ganze Grund, warum CLR sich der Herkunft zugewandt hat.

Das würde ich der stärksten Fassung des Arguments sagen. „Nicht zuordenbar“ ist keine entdeckte Tatsache über ein generiertes Bild. Es ist die Beschreibung einer Pipeline, die es ablehnte, einen Beleg aufzubewahren, berichtet, als wäre sie eine Eigenschaft des Universums.

Niemand hat bewiesen, dass die Daten keine Rolle spielten. Die Messung zeigt, dass eine Pipeline, die keine Aufzeichnung führt, es hinterher nicht sagen kann.