← Ein verteiltes Sprachmodell nach „Fair Use“

Der Weg zu „Fair Use“ in der generativen KI

Teil 1 von 4

Vor einem Jahr, im Oktober 2025, machte ich mich auf die Suche nach einer Antwort auf ‚fair use‘ in der Sprachmodellierung, und ich begann mit retrieval-basierter Zitierung: ein Proof of Concept, der Vektorähnlichkeitssuchen über eine Datenbank ausführte und einen Tantiemenanteil danach zuteilte, wie stark ein generierter Output mit dem Kontext übereinstimmte, der aus dem Werk jedes Nutzers geliefert wurde. Daraus entwickelten sich Wissensgraphen, und schließlich wurde es zu AII. Es war rudimentär, aber es funktionierte gut genug, um die Machbarkeit zu belegen, und genug, um mich weiterzutreiben, in das Sprachmodell selbst und seine tatsächlichen Token-Verteilungen. Präzision zählt hier am meisten, denn ich möchte einen Grundrahmen schaffen, den Gerichte in Urheberrechtsfällen verwenden könnten, Fällen, die brutale Ehrlichkeit bei Erkennung und Metriken verlangen.

Dazu begann ich, dieses Paradigma der Sprachmodellierung auf einem alten Spruch von mir aufzubauen: „Intelligenz zu dezentralisieren zentralisiert das Wachstum für das Ganze.“ Ich wollte gleichzeitig ein anderes Problem lösen: das Rechenzentrumsproblem. Ich arbeite meist nach der Denkweise „mehrere Vögel, ein Stein“, also ist dieser Ingenieursprozess für mich ziemlich üblich … besonders wenn die Vögel unzusammenhängend wirken und ich den richtigen Stein genau ausmachen kann … denn manche Steine/Brocken/Erze sind auch mühsam herauszuarbeiten. Auf diese vollständige Lösung komme ich in Teil 4 der Serie zurück, Ein Protokoll zur Dezentralisierung der Inferenz.

Auf diesem Weg gelangte ich unbeabsichtigt zu einer veränderten Sicht auf das ganze Problem von Fair Use, Zitaten und Tantiemenverteilung pro Token. Ein Sprachmodell hat Gewichte, und diese Gewichte sind wie eine Karte dafür, welches Token, diese „Zeichen in einem Wort“, als nächste mögliche Option angeboten werden sollte, wenn Wörter in das Modell gegeben werden. Damit dieses dezentrale Design funktioniert, würden viele Maschinen, unsere persönlichen, jeweils ein personalisiertes „Abbild“ hosten, das rechtmäßig uns gehört und allein aus unseren Daten gebaut ist, aber auf einem größeren Basismodell irgendwo anders trainiert wurde. Ich nenne dieses Modell „The Commons“, technisch behandelt als Raos Foundation-Modell. Seine Gewichte werden in der Mitte durchgeschnitten, sodass das hintere Ende auf die Gewichte des persönlichen Modells eines Nutzers gestapelt wird, um bessere Vorhersagen zu stützen, und bei diesem Verfahren wurde etwas geboren: eine Antwort darauf, wie Entropie, diese Idee von Chaos, gemessen innerhalb der Vorhersage, genutzt werden kann, um das genaue Token dem genauen Werk zuzuordnen, aus dem es im persönlichen Modell eines Nutzers stammt, und um zu erkennen, ob das Modell eines Nutzers eine solche Textsequenz überhaupt erzeugen kann. In diesem Prozess bin ich vielleicht auf einen Ausgangsrahmen gestoßen, den die Community in Richtung von Vorstellungen von ‚fair use‘ überarbeiten kann.

Sprache ist etwas sehr Komplexes, das sich adversarial messen lässt. Ob eine Wortfolge wirklich von J.D. Salinger oder Fitzgerald oder Steinbeck stammt … ich wette, jedes Buch hat eine Folge von 4–7 Wörtern, die genau gleich sind. Woher wüsste man, was wem gehört? Die Idee ist über Completion leichter zu verstehen. Completion ist eine Form der KI-Inferenz in großen Sprachmodellen (den Diensten, die Sie in ChatGPT und Claude sehen), bei der das Modell als Autovervollständigung agiert: Während Sie tippen, sagt es voraus, was als Nächstes kommt. Autovervollständigung war gewissermaßen die Wurzel der Frage-Antwort-Chatoberfläche, die im November 2022 die Welt veränderte. Angenommen, ein Nutzer schreibt ein Buch, und sein Kontext baut sich Passage für Passage auf. Erzeugt dieses Schreiben eine Art energetische Entropie, die das Modell messen kann? Und kann diese Entropie mit der „Energie¹“ übereinstimmen, die Salingers Werk auf genau diesen 4–5 Wörtern erzeugt, Wörtern, die Steinbeck und Fitzgerald teilen, sodass Salinger derjenige ist, der ausgewählt wird, um die Tantiemen für die vorhergesagte Completion zu erhalten?

Die Präzision, mit der sich der Ort eines Tokens und seine Herkunft zitieren lassen, verdankt sich zum Teil meiner Datenbanklösung Thread, die Teil des Ambient Intelligence Index ist: ein Index, der Daten privat auf persönlichen Rechnern für die KI-Anwendungen eines Entwicklers sammelt und sie für Braid aufbereitet, das aus deren kuratierten Threads Modelle flicht, worauf ich in Teil 4 dieser Serie eingehe.

Während ein Nutzer Daten sammelt, trainiert sein Thread-Knoten automatisch ein mit seinem Index gekoppeltes Modell. Das ist sein ganz eigenes privates Sprachmodell, trainiert auf die spezifische verteilte Weise, die Herkunft überhaupt erst möglich macht. Der ‚Schwanz‘ des gemeinsamen Foundation-Modells, ‚The Commons‘, wird an den ‚Kopf‘ des Threads angehängt, der als Kopie des Kopfes des Commons beginnt und auf die persönlichen Werke des Nutzers abgestimmt wird. Das Delta³ bedeutet ‚was sich hier verändert hat‘ zwischen den beiden Köpfen, während der Thread lernte, das Schreiben des Nutzers vorherzusagen. Diese Veränderung zeigt sich in der Entropie des Threads (H_lm⁴) auf den Wörtern des Nutzers, woran Braid erkennen kann, dass die Wörter aus dem Thread dieses Nutzers stammen. Nach dem Training berechnet niemand das Delta, während das Modell schreibt. Es zeigt sich von selbst, darin, wie sicher sich der Thread ist, und Braid misst das bei jedem Wort, woraus ein emergentes Verhalten von Herkunft entsteht.

Ein Zitat sagt, woher ein Wort stammt. Die Spur stellt eine längere Frage: Folgt der Text einem der Dokumente des Threads, Wort für Wort, der Reihe nach? Sie funktioniert wie ein Finger, der an einer Seite entlangfährt.

Ich würde sagen, die wahre Herkunftslinie dessen begann damit, Ziel und Flugbahn eines Thread-Knotens zu messen und grundlegende ökonomische Fragen zur Tantiemenaufteilung zwischen gespeicherten Texten zu beantworten. Das wählt nicht einfach einen Thread zum Kreditieren aus; es teilt das Token selbst über eine Verteilung auf. Im früheren Beispiel mit Salinger, Fitzgerald und Steinbeck gibt es also, obwohl Salingers Thread gewann, immer noch die Chance, dass die Berechnung aus Flugbahn, Ziel und Spur Teilanteile an Fitzgerald und Steinbeck verteilt. Sie liefern sprachlich weiterhin Unterstützung für die Vorhersage, auch wenn der Fragende stärker mit Salinger übereinstimmt. Es könnte also sehr wohl eine Aufteilungsberechnung von 0.7, 0.2, 0.1 sein, die dann an jeden Thread verteilt und dafür protokolliert wird, die Vorhersage des nächsten Tokens geliefert zu haben. Aus meiner Sicht ist das ein vollständiger und sinnvoller ökonomischer Schluss dafür, die Einnahmen eines geschriebenen Werks zu teilen.

  1. September 2026: „Wir wollen diese einzigartige Flugbahn der Prosa eines Autors auf seinen Thread entschlüsseln … sodass der Schirm/das Schilf die Flugbahn des Schreibens des Nutzers und die Fähigkeit des Prompts, den nächstgelegenen Thread zu finden, klar versteht, um mit höchster Präzision auf der Flugbahn zu diesem Schreibstil zu vervollständigen. Das wird zum Fingerabdruck des Threads.“

Die Suche nach diesem Fingerabdruck bedeutet, die Identität eines Autors aus Buchstaben auf einem Bildschirm zu verstehen. Das kann wie Scharlatanerie wirken … und doch gibt es hier vielleicht etwas, das es wert ist, ausgegraben zu werden. Die Ökonomie ist ein weiterer scheinbar unzusammenhängender Vogel: Die Flugbahn schützt das System vor Manipulation, und die Idee eines „Lifts“ lässt einen Thread-Knoten priorisieren, je enger sein Fingerabdruck mit der Zeit zum Fragenden passt.

  1. Oktober 2026: „hier laufen das ‚Aim-Modell‘, ‚Entropie‘, ‚Tracing‘, ‚Flugbahn‘ zusammen zu der Idee, wie entschieden wird, welcher Thread mit demselben Faktum eine Tantiemenauszahlung erhält.“

Gerade im Akt des Tracens, des Verfolgens der Flugbahn, um zu wählen, welcher Thread gehoben wird, legte ich die Lücke frei, die das Delta füllt. Diese Lücke zeigte mir, wie das Tracing prüft, was H_knn⁵ im Herkunftsindex als zitierenswert behauptet, für genau die Token, die H_lm⁴ in dem, was gleich vorhergesagt wird, als die des Nutzers erkennt: ein emergentes Verhalten des Deltas zwischen dem Kopf des Commons und dem des Threads, im Training gefunden.

Am Ende mussten drei Probleme gemeinsam gelöst werden: dezentrales, verteiltes Denken; tokengenau präzise Zitate; und Tantiemen, die sich nicht manipulieren lassen. Jedes einzelne durchzuarbeiten führte hierher. Es stellte sich heraus: drei Vögel, ein Stein: das Delta.

Der vierte Vogel wurde im Frühjahr dieses Jahres gelöst: Zitierung auf Retrieval-Basis kann in der Zwischenzeit als Tantiemenschiene für Q/A-Chatbot-Interaktionen dienen. Zitierung auf Token-Ebene behandelt Completion, und Retrieval behandelt Q/A, wobei die Quellen hinter einer Generierung dem Autor zugeordnet werden statt einer Website. In Teil 2 werde ich testen, ob das so bleiben sollte oder ob die Zitierung in die Q/A-Trainingsschicht des geflochtenen Thread-Modells selbst wandern sollte, wo Fragen aus Fakten entstehen, das Modell direkt ohne Retrieval antwortet und diese Antworten mit einem Tantiemenanteil zitiert werden. Das Problem dabei ist, dass es nicht wirklich der Kernphilosophie hinter dem Rahmenwerk folgt: Completion, Tracing und Widerstand gegen ökonomische Manipulation. Q/A müsste rein nach Fakten vergütet werden, und wenn mehrere Threads dieselben Fakten besitzen, gibt es nicht wirklich einen Grund, einen Thread gegenüber einem anderen zu „heben“, es sei denn, ein Thread bietet Fakten mit einem durchgängigen Muster von Vertrauen und Verlässlichkeit, aus dem sich ein Zuverlässigkeitswert ableiten lässt. Diese Art des Denkens wird folgen, während ich in der Serie weiter dahin vordringe, zu bestimmen, was ‚fair use‘ in diesem Feld bedeutet.

Teil 2 ablatiert das Modell selbst. Braid verwendet derzeit Mamba statt Attention, es gibt also keinen KV-Cache. Das hält es leicht und einsatzbereit. Die Frage, die ich testen werde, ist, ob die Aufteilung in Kopf und Schwanz die Arbeit allein leistet oder ob auch Mamba eine Rolle spielt. Ich schaue außerdem auf Performance, Speichergrenzen und die Genauigkeit eines kleinen Foundation-Modells und darauf, ob irgendein anderes emergentes Verhalten bei meinen alltäglichen Aufgaben hilft, während die On-Device-Privatsphäre und Personalisierung erhalten bleiben, die dieses System bietet und um die gehostete Enterprise-Assistenten nicht herum entworfen sind.

Wenn die Verbreitung dieses Paradigmas anzieht, hoffe ich, festen Boden zu erreichen, um tatsächliche versionierte ‚fair use‘-Rahmenwerke zu entwerfen. In Teil 3 dieser Serie veröffentliche ich einen ersten Entwurf, damit dort die Diskussion beginnen kann, gemeinsam mit Menschen aus der Politik, die greifbare, umsetzbare Pläne für Fortschritt in der gesamten Branche prüfen und priorisieren können.

P.S.

Ich dachte beim Schreiben an dieses Lied und möchte es zum Thema dieses Teils der Serie machen. Ich schätze, das Leben ist kurz, und manchmal ist es am besten, innezuhalten und an den Rosen zu riechen. Dies ist einer der Momente, in denen dieses Zitat auftaucht.

Ich glaube merkwürdigerweise, dass manche der Spannungen rund um kreative Arbeit in den letzten zwei Jahren beantwortet sein könnten, wenn ‚fair use‘ beantwortet wird: zu wissen, dass die Geisteswissenschaften in dieser neuen Ära zumindest berücksichtigt sind. Dann können wir als Gesellschaft wahrscheinlich von dort aus beginnen.