Ingenieurskultur
Das neue Silicon Valley
Über ein Valley aus Belegen und darüber, was übrig bleibt, wenn sich der Nebel lichtet.
Ich lebe seit neunundzwanzig Jahren im Silicon Valley. Mittelstufe, Oberstufe, College und alles danach. Ich habe jeden Bogen davon miterlebt, und jeder Bogen hat seinen Preis.
Ich möchte deshalb genau sein, was ich mit dem Titel meine. Ich schreibe nicht gegen den Ort, und ich beschuldige kein Unternehmen und keine Person. Ich sage, dass Silicon Valley nie wirklich ein Ort war. Es war ein Satz von Voreinstellungen, und Voreinstellungen kann jeder umschreiben, der bereit ist, mit anderen zu bauen.
Dies ist ein Beitrag über die anderen. Er fasst zusammen, was ein Jahr Forschung ergibt, und gibt dann eine Prognose ab: wie ich glaube, dass die Welt aussieht, wenn alles ausgeliefert ist. Die Forschung ist der Beleg. Die Prognose ist meine Wette, und ich werde kennzeichnen, was was ist.
(Mit KI aus meinen eigenen Notizen und Repositories entworfen, dann von mir bearbeitet. Die Entscheidungen und die Wetten sind meine.)
Die alten Voreinstellungen
Hier die Kurzfassung, beschrieben als Mechanismus und nicht als Motiv. Niemand musste irgendetwas davon beabsichtigen. Die Anreize haben die Arbeit getan.
- Erst sammeln, später erklären. Daten fließen zum Zentrum hinauf, weil sie dort wertvoll sind. Die Einwilligung kommt hinterher, wenn überhaupt.
- Auf Aufmerksamkeit optimieren. Die Kennzahl, die sich leicht messen lässt, wird zu dem, wofür das Produkt da ist.
- Den Einfluss unsichtbar halten. Leise Überzeugung wirkt besser als gekennzeichnete, also sitzt die Steuerung dort, wo niemand sie prüfen kann.
- Mehrdeutigkeit als sicherer Hafen. Vage Formulierungen, vage Richtlinien, vages Feedback. Auf nichts wird man festgelegt, also kann nichts gegen jemanden verwendet werden.
- Schnell handeln, später um Verzeihung bitten. Grenzen werden gefunden, indem man sie überschreitet.
Über die Produktseite davon habe ich in Das Plädoyer für persönliche KI geschrieben: Ein Feed kann Ihnen nicht sagen, welche Ihrer Gedanken Ihre waren, und ein Chatfenster kann Ihnen nicht sagen, ob es Sie vor Schaden weg oder zu einem Kauf hin lenkt.
Ich glaube nicht, dass das zwei Probleme sind. Eine Kultur, die im Nebel arbeitet, baut Produkte, die im Nebel arbeiten. Eine Organisation, die man nicht direkt fragen kann, liefert Software aus, die man nicht direkt fragen kann.
Was die Forschung ergibt
Wenn ich die Projekte des vergangenen Jahres nebeneinanderlege, sehen sie aus wie getrennte Vorhaben. Seer, Totem, Thread, Mary, Veil, Scorpion, CLR. Aber alle beantworten dieselbe Frage, und die Frage handelt nicht von KI. Sie lautet: Kann ich fragen? Kann ich fragen, woher das kam, wohin es ging, was es getan hat, aus wessen Arbeit es schöpft, wer dafür bezahlt wurde?
Jedes Projekt ist eine Version davon, die Antwort zu einem Ja zu machen.
1. Jede Ausgabe weiß, woher sie kam. Seer begann als Retrieval-System und wurde zu einer Attributionsschicht: Jede Antwort trägt ein Contributions-Blatt, den Anteil, der jeder Quelle zusteht, und ein Register, das ihn abrechnet. Die Arbeit zu Tantiemen überträgt dieselbe Idee auf Bilder, eine Attributionsmatrix, die Schritt für Schritt durch die Diffusion aufgebaut wird. Die Behauptung darunter ist eine, die ich in Attribution Decay aufstelle: Wenn tausend Quellen je ein wenig beitragen, ist „nichts ist verantwortlich“ keine Antwort. Es ist Überdeterminierung, und Überdeterminierung ist keine Absolution.
2. Das Gedächtnis gehört der Person. Totem und Thread haben die Speicherung aus einer zentralen Cloud auf Knoten verlegt, die Menschen besitzen. Nutzer entscheiden, ob ihre Daten überhaupt dem Netzwerk beitreten. STTP denkt den Gedanken zu Ende: Geräte bereiten semantische Tokens vor, während Dinge entstehen, teilen sie Peer-to-Peer, und eine gemeinsame Aggregationsschicht, nicht ein Monolith, sagt die Vervollständigung voraus. Ein Slogan aus einem meiner ersten Jobs kommt immer wieder: „Große Köpfe, kleine Geräte.“
3. Agenten handeln mit Belegen. Mary, und Ambient als ihr macOS-Gefäß, beantwortet drei Fragen, die die meisten Assistenten überspringen: Wohin geht der Bildschirm, wo lebt das Gedächtnis, handelt er oder rät er. Sie liest den Accessibility-Baum im eigenen Prozess, die Pixel bleiben also zu Hause, und jede Aktion kommt als validierter Schritt mit einem Beleg zurück. Ambient Abilities geht weiter und zeigt die Arbeit des Routers, bevor er läuft, statt Sie um Vertrauen zu bitten. Software, die einen echten Bildschirm bedienen kann, ist am sichersten, wenn sie offen ist, denn dann ist der Code, den Sie lesen können, der Code, der läuft.
4. Sicherheit geschieht an der Quelle. CLR versucht, die Wahrheit aus den Pixeln selbst zu lesen. Scorpion und Veil sollen laufen, bevor ein Modell ausgeliefert wird: das eine eine Memorisierungsprüfung an der Upload-Tür, das andere schließt Routen zu einer Ähnlichkeit. Erkennung allein ist eine Autopsie. Es geht darum, den Kontrollpunkt früher zu setzen.
5. Die KI wächst mit der Person, nicht über sie hinaus. Die These der persönlichen KI lautet, dass ein Werkzeug knapp über Ihrem aktuellen Handwerk reiten und mit ihm breiter werden sollte, sodass das, was es hervorbringt, Ihre verdiente Arbeit trägt und nicht einen Prompt, der „bis zur Fertigstellung gevibt“ wurde. Das ist auch eine Aussage über Einstellung und Identität: ein Weg, Fähigkeit zu vermitteln, ohne die Person zu opfern.
Fünf Projekte, ein Muster: Nachvollziehbarkeit. Man kann das Ding fragen, und es antwortet mit einem Beleg.
Was nicht bewiesen ist
Eine ehrliche Bilanz zählt hier mehr als anderswo, denn ein Beitrag über Nachvollziehbarkeit, der seine eigenen Lücken verbirgt, wäre ein Witz.
Das meiste davon ist früh. Das Auszahlungsregister, das ich gezeigt habe, hat eine einzelne Antwort mit einem einzelnen Eigentümer abgerechnet. Erkennung hat Grenzen, die ich selbst veröffentlicht habe: Neuere Generatoren müssen mit Daten abgedeckt werden, und Präzision ist ein langsamer Aufstieg, kein Schalter. STTP ist eine Frage, die ich umkreise, kein Ergebnis. Ein Register geschützter Personen ist nur so gut wie die Entscheidung, wer darauf stehen darf. Die Linux-Konvergenz, die ich immer wieder erwähne, ist noch nicht öffentlich.
Ich sage das laut, weil die alten Voreinstellungen darauf bauen, dass Sie das Beste annehmen. Die neuen müssen überstehen, dass Sie nachprüfen.
Wenn alles ausgeliefert ist
Hier die Prognose. Nehmen Sie sie als Wette, nicht als Ergebnis.
Der Beleg wird zur Standardeinheit eines KI-Produkts. Im Moment sind „Warum hast du das gesagt?“ und „Wer hat dazu beigetragen?“ Fragen, die man einem Menschen stellt. Sobald einige Produkte sie beantworten können, beginnen die, die es nicht können, so auszusehen wie der Nebel, der sie sind. Ich glaube, in wenigen Jahren wird es sich so seltsam anfühlen, einen Assistenten zu nutzen, der seine Arbeit nicht zeigen kann, wie es sich heute anfühlt, eine Website ohne HTTPS zu nutzen.
Urheber bekommen eine Zeile auf der Rechnung dafür, benutzt zu werden, nicht nur dafür, gefunden zu werden. Der alte Handel des Internets war, dass Ihre Arbeit Traffic bekam, im Tausch dafür, indexiert zu werden. Generative Systeme haben dieses Gleichgewicht zerbrochen, und das ist das ganze Argument meines Beitrags zu Fair Use. Attribution auf der Schicht vor der Auslieferung macht aus dem Streit von Rechtsstreit Infrastruktur: kein Prozess im Nachhinein, sondern eine Auszahlung im Moment der Nutzung. Es wird nicht perfekt sein. Es muss nur besser sein als nichts, und nichts ist der aktuelle Preis.
Intelligenz wird kleiner und zahlreicher. Meine stärkste Wette ist die unmodischste: dass Millionen kleiner Modelle, jedes auf eine Person oder ein Fachgebiet abgestimmt und per Konsens aggregiert (ein Product of Experts, kein Monolith), am Ende besser sind als wenige riesige, und dass das Frontier-Modell zu einem Experten im Raum wird statt zum Raum. „Dezentrale Intelligenz zentralisiert das Wachstum für das Ganze“ bleibt meine beste Zusammenfassung.
Der Rechner, den Sie besitzen, wird zum Hauptstandort. Gedächtnis, Retrieval und Handlung ziehen nach Hause, und die Cloud wird zu einem Peer, den man ruft, wenn man mehr braucht, nicht zum Zentrum, an das man berichtet. Das ändert, wem ein Produkt gegenüber Rechenschaft schuldet, denn Software, die auf Ihrem Rechner läuft, können Sie prüfen.
Verifiziertes Handwerk wird zu einer Sprache für Einstellung. Das ist die, die mir als Ingenieur am meisten bedeutet. Einstellung ist derzeit ein Nebelproblem: Arbeitgeber können Wert nicht messen, Neueinsteiger können ihn nicht ausdrücken, und so wird alles aus Stellvertretern gelesen. Wenn Ihre Arbeit Herkunft trägt (was Sie gemacht haben, wie, woraus sie schöpfte, öffentlich, mit Nachweis), dann hat die ungestellte Frage nichts mehr, wovon sie sich nähren kann. Die Arbeit spricht für sich, und die Person muss nie ein Selbst verteidigen, das nie vor Gericht stand.
Sicherheit wandert stromaufwärts und wird offen verhandelt. Prüfungen auf der Hosting-Ebene, Register, denen Menschen freiwillig beitreten können, Adapter, die Routen zu einer Ähnlichkeit schließen, Wasserzeichen, mit denen On-Device-Nutzer Herkunft belegen können. Nichts davon ist luftdicht, und alles davon wird angegriffen. Aber „wir reparieren es, nachdem es sich verbreitet hat“ ist nicht mehr die einzige Option.
Unternehmen beginnen, ihren Produkten zu ähneln. Das ist der kulturelle Teil. Ein Team, das Belege ausliefert, kann nicht bequem auf Flüsterei laufen. Grenzen gibt es weiterhin, denn Geheimhaltung bei nicht wettbewerbsrelevanten Offenlegungen ist ein reales und respektables Bedürfnis, aber sie sind benannt: hier ist die Grenze, hier ist der Grund, hier ist, wer antworten kann. Das neue Silicon Valley ist kein Ort ohne Geheimnisse. Es ist ein Ort, an dem die Geheimnisse Namen haben.
Wie es schiefgeht
Jedes neue Valley ist eine Entscheidung vom alten entfernt, hier also die Liste der Wege, auf denen ich erwarten würde, dass dies scheitert.
- Belege werden zur Überwachung. Ein System, das alles aufzeichnet, was es getan hat, kann alles aufzeichnen, was Sie getan haben. Nachvollziehbarkeit muss auf die Maschine zeigen und die Person in Ruhe lassen.
- Attribution wird manipuliert. In dem Moment, in dem es eine Auszahlung gibt, wird jemand die Beiträge fabrizieren, um sie zu beanspruchen.
- Local-first schließt Menschen aus. Nicht jeder besitzt ein gutes Gerät. Eine Welt eigener Rechenleistung braucht einen Plan für jene, die keines haben.
- Dezentralisierung fragmentiert. Tausend kleine Knoten, die sich auf nichts einigen können, sind nur tausend Silos.
- Ein Register wird zum Torwächter. Wer entscheidet, wer geschützt ist, hält echte Macht, und diese Macht braucht dieselbe Prüfung wie die Modelle.
- Die Anreize kehren leise zurück. Der älteste Fehler von allen: ein besseres Design mit demselben Geschäftsmodell darunter driftet zurück zum selben Verhalten.
Letzteres ist der Grund, warum es auf Garantien hinausläuft: vorab sagen, was bewertet wird, sagen, was aufgezeichnet wird, die Person es lesen lassen. Der Test eines neuen Valleys ist derselbe wie der Test eines neuen Arbeitsplatzes. Nicht, ob es sagt, dass es anders ist, sondern ob die Garantien aufgeschrieben sind.
Der Punkt
Früher dachte ich, das nächste Valley würde von einer Technologie bestimmt: einem Modell, einem Chip, einem Protokoll. Das tue ich nicht mehr. Die Forschung hat mich gelehrt, dass das bestimmende Merkmal viel schlichter ist. Es ist, ob es auf eine direkte Frage eine Antwort mit einem Namen darauf gibt.
Das alte Valley optimierte, was es messen konnte, und verbarg, was es tat. Das neue ist, was immer das Tun nachvollziehbar macht. Woher es kam. Wohin es ging. Was es tat. Aus wessen Arbeit es schöpfte. Wer bezahlt wurde. Wer fragen darf und wer antworten muss.
Ich baue darauf hin, neben allem anderen, öffentlich, und ich bin froh, dort falschzuliegen, wo man es sehen kann. Das, mehr als jede Architektur, ist die Kultur, die es wert ist, gebaut zu werden.