Zwei Wörter tauchen in fast jedem Gespräch über Trainingsdaten auf, und sie sind die Verteidigung, zu der die Branche greift: fair use. Was ich nicht verstehe, ist, wie das Gleichgewicht in ihnen übersprungen werden konnte. Diese eine Wendung, die Kombination zweier einfacher englischer Wörter, bestimmt, wann und wie man eine Art von Daten nutzen darf. Einen Textabschnitt von einer Webseite zu ziehen und für das Training zu verwenden, wird meist mit Dringlichkeit gerechtfertigt: dem Rennen um AGI. Das überzeugt mich allein nicht. KI ist Mittel zum Zweck, demselben Zweck, auf den hin das Computing optimiert, seit DARPA die Welt verbunden hat, und das Wissen, das sie trägt, sollte zugänglich sein. Aber irgendwo auf dem Weg blieb zurück, was es brauchte, um die Creative Commons zu schützen. Ohne dieses Gleichgewicht ist die Idee eines „Internets“ nicht möglich.
Wenn ein Mensch die Zeit aufwendet, Worte zu einem Dokument zu verweben, das einem Leser Wissen vermittelt, entnimmt der Leser dieses Wissen und kann dann wirksamer zur Gesellschaft beitragen, indem er es zu einer Art Gegenleistung remixt, sei es eine neue UX-Funktion in seiner Anwendung oder ein Nachtrag zu seinem eigenen Blogpost. Die Idee von Open Source gilt nicht nur für Code. Sie gilt dafür, wie die Welt Intelligenz teilt und sich gemeinsam weiterentwickelt. „Intelligenz zu dezentralisieren zentralisiert das Wachstum für das Ganze.“
Wenn dieses Wissen ohne Einwilligung genommen wird, um abgeschottete, komprimierte Denkmaschinen zu trainieren, die die Menschen, die diese Lernpfade geschaffen haben, nicht würdigen können, beginnt das Wesen, das Gleichgewicht, die Idee des Internets zu erodieren. Mein Einwand richtet sich nicht gegen Maschinen, die das öffentliche Web lesen – die Suche tut es, und der Detektor, den ich baue, ebenso. Er richtet sich gegen generative Systeme, die die Arbeit von Menschen aufsaugen und ohne Einwilligung, Namensnennung oder Vergütung zurückgeben. Ich glaube, dass die „Dead-Internet-Theorie“ umkehrbar ist, und die Umkehr beginnt damit, Lösungen zu bauen: Die Gerichte passen sich noch an, und es gibt noch keine funktionierende Alternative, auf die man verweisen könnte, wenn die üblichen Argumente für das Sammeln von Trainingsdaten ohne Einwilligung aufkommen.
Ich glaube nicht, dass „AGI“ das Ziel ist, auf das es am meisten ankommt. Menschen entwickeln sich weiter, und KI wird vor allem beweisen, dass Menschen skalieren: Ein Modell wird immer dem Rennen hinterherlaufen, mehr Wissen aus jeder erreichbaren Quelle zu sammeln, nur um mit der Anpassung der Menschen an die Systeme um sie herum Schritt zu halten. Dieses Rennen endet nie, und ich werde immer darauf setzen, dass der Mensch eine Maschine ausmanövriert. Das Intelligenzproblem wird also falsch gerahmt. Daten sollten klar der Einzelperson gehören, privat und persönlich, und auf Anfrage an die Systeme verleast werden, die sie aggregieren.
Große Sprachmodelle sind im Kern Aggregate von Quellen innerhalb eines Datenkorpus. Dieses Aggregat lässt sich auf seine Quellen zurückführen, und diese Wahrheit sollte offengelegt und transparent sein, statt in einem S3-Bucket durcheinandergewürfelt auf die nächste Epoche zu warten.
Das verlangt ein Framework: die Architektur und die passenden Speichereinheiten, um genau das zu leisten. Fortschritt an der Spitze behält seine Glaubwürdigkeit nur, wenn unterwegs die Straßen gebaut werden. Andernfalls gerät die Glaubwürdigkeit der Erfindung, in die Milliarden fließen, ins Wanken, auf Kosten der Menschen, die sie überhaupt erst mit aufgebaut haben. Der Kreativen, der Intellektuellen, der Commons.