Thread ist die persönliche Datenbank eines Nutzers
Teil 1 von 4
Ambient Intelligence Index ist im Kern eine Datenbank. Sie hat drei Teile: Sewn, Thread, Seam. Thread ist die eigentliche Datenbankschicht; Sewn und Seam liefern drumherum die Mechanik, um sie mit Anwendungsschichten und anderen Datenbanken zu verbinden und um Machine-Learning-APIs für die Inferenz zu bündeln, die den Datenbankinhalt als Kontext nutzt. In diesem Teil der Serie konzentrieren wir uns auf Thread; Sewn und Seam behandle ich in Teil 2, Sewn & Sinatra personalisieren Ihre KI.
Threads Weg zu AII
Thread soll eine Art Speicherlösung sein, die Daten ablegt und für den Abruf über Wissensgraph und Vektorspeicher vorbereitet. Mit Vektorspeichern hat Thread angefangen. Eigentlich hat Thread eine längere Geschichte: Es begann mit Seer. Ich fing im Oktober/November 2025 an, als ich mir vornahm, das Problem von Tantiemen und Attribution beim Retrieval zu lösen. Dabei wollte ich zugleich angehen, wie sich generierte Antworten insgesamt erweitern lassen. Zwei wesentliche Dinge: die Idee eines unendlichen Chats und das Abstimmen einer Antwort auf einen Nutzer durch eine Form von selbstverstärkendem Lernen. Wieder ein Fall von „mehrere Fliegen mit einer Klappe“, wie in Der Weg zu „Fair Use“ in der generativen KI, als es um Sprachmodelle ging, die „fair use“ gerecht werden können.
Dabei entwickelte sich Seer zu einer Dynamik der Personalisierung, von der ich feststellte, dass sie ein Modell wie Mistral Medium so wertvoll machen konnte wie ein aktuelles OpenAI-Spitzenmodell. Und das lag nicht am Faktenwissen, denn das wurde dadurch ergänzt, dass ich Daten von sozialen Plattformen wie Bluesky in Thread zusammenführte. Es lag an der Fähigkeit, die Punkte zwischen meinen Notizen und anderen Knoten zu verbinden.
Ich hatte Seer bei Scaleway gehostet und ein rudimentäres HNSW (Hierarchical Navigable Small World) implementiert, das die Vektordarstellungen der Daten im Wesentlichen auf einem Graphen ablegt, den man durchlaufen kann, um verwandte Stücke mühelos zu finden. Ein Entwurf, den ich vielleicht zurückbringe, den aber der Wartungsaufwand vorerst draußen gehalten hat. Er war allerdings sehr aufschlussreich, daher gehe ich kurz darauf ein, bevor ich zum aktuellen Stand von Thread komme, denn das zentrale PartitionTable-Speicherformat blieb über den gesamten Entwicklungsverlauf bestehen.
Embeddings sind Vektordarstellungen von Text: Jedes Wort oder jede Passage wird zu einer Liste von Zahlen, eine pro Dimension. Es können Hunderte oder Tausende sein, aber wir stellen sie uns oft in dreien vor, x, y und z, damit sich der Raum veranschaulichen lässt. Ich begann 2016 mit NLP und arbeitete mit Emotionslexika, um den emotionalen Duktus der Nachrichtenverläufe eines Nutzers und dessen, was er einem Chatbot tippte, abzuleiten. Dabei stieß ich auf GloVe und damit auf die Idee, die für sich genommen längst erforscht ist, dass Wörter eine messbare Ähnlichkeit zu anderen Wörtern haben. Stellt man sich Wörter in einer 3D-Welt vor, kann man durch sie hindurchreisen und einen echten Abstand zwischen ihnen finden, der etwas bedeutet: eine Zahl dafür, wie nah zwei Wörter in Bedeutung und Beziehung beieinanderliegen.
Text-Embeddings trugen diese Idee von Wörtern auf ganze Passagen, und HNSW baute darauf auf. Während Wortvektoren ein Wort zu einem anderen in Beziehung setzen, platziert ein Embedding-Modell eine ganze Passage in demselben Raum, und HNSW verknüpft jede mit ihren nächsten Nachbarn, über Themen und über Dokumente hinweg. Durch die Art, wie ich Partitionen innerhalb eines Dokuments strukturiert hatte, konnte es eine Partition eines Dokuments direkt mit Partitionen eines anderen verknüpfen.
Daraus ergab sich die Idee gemeinsamer Gedanken: Zwei Essays können von völlig verschiedenen Dingen handeln, doch ein Absatz oder eine Wendung in jedem von ihnen hängt zusammen, verbunden in einer navigierbaren Small World. Die Stärke lag darin zu sehen, wie gemeinsame Perspektiven in völlig verschiedenen Beiträgen existieren können. Am Ende entsteht eine Brücke zwischen zwei Standpunkten, die dasselbe finden, was beide im Innersten wollten.
Das Problem mit HNSW war, den Graphen konsistent zu halten, während Knoten und ihre Dokumente kamen und gingen. Ein Einfügen verknüpfte an Ort und Stelle, ein Löschen markierte den Knoten aber nur: Sein Text und sein Vektor blieben im Graphen, mit Verknüpfungen, die weiter auf ihn zeigten, bis eine Kompaktierung alles neu aufbaute. Ich wollte, dass Seer, Thread und AII Privatsphäre und Sicherheit an erste Stelle setzen, also habe ich HNSW ausgemustert. Zuverlässigkeit, hängende Knoten und Datenkonsistenz im großen Maßstab auszubalancieren war eine eigene technische Meisterleistung, und ich baute gleichzeitig viele andere bewegliche Teile. Es lohnt sich, das zurückzubringen, und aus Sicht der Server-Zuverlässigkeit war es ein interessantes Problem.
Ich hatte einen Scraping-Dienst gebaut, der sich mit Bluesky und RSS-Feeds verband, stündlich Beiträge abrief und sie automatisch unter festen Dienstkonten, etwa mit der Bezeichnung Bluesky, in den Index einsortierte. Wenn diese Beiträge beim Kontextabruf verwendet wurden, wurden ihren Konten Tantiemen gutgeschrieben, um fair use auf der Retrieval-Ebene zu demonstrieren.
Beim Bau dieser Glaubwürdigkeitsschicht stieß ich auf die Idee der Personalisierung, die sich magisch anfühlte. Ich konnte sehen, dass eine LLM-Antwort zu 60 % aus Bluesky stammte, dieses Konto antippen und die tatsächlichen Bluesky-Beiträge sehen, die tatsächlichen Menschen hinter der Antwort. Es war, als würde man Leben zusammennähen: Das LLM nähte Fäden zusammen, statt die gesamte Quelle der Wahrheit zu sein. Es wirkte auch wie ein Schutz gegen KI-induzierte Wahnvorstellungen. Die tatsächlichen Menschen hinter den Worten in verdaulicher Form zu sehen, gab mir etwas zum Überprüfen statt einer Blackbox, der man vertrauen muss und die einen auf den falschen Weg führen kann.
Diese Konten als Mitwirkende an dem zu sehen, was ein LLM zusammennähte, gab einem Satz Gewicht, auf den ich immer wieder zurückkam: „Dezentrale Intelligenz zentralisiert das Wachstum für das Ganze.“ Was, wenn Peer-to-Peer-Ideen ins Spiel kämen? Was, wenn mehrere Seer-Server entstehen und sich miteinander verbinden könnten? Hier kehrten „ein Stein und viele Vögel“ in meinen Entwicklungszyklus zurück. Wir könnten nicht nur Attribution über Retrieval lösen, sondern Nutzern dabei auch das Gefühl geben, ihre Daten wirklich zu besitzen. Der Aufwand, all das zu pflegen, würde wachsen und meine Fähigkeit auf die Probe stellen, die Architektur kohärent zu halten, also war es Zeit für „teile und herrsche“. Ich halbierte den Stack: Die Datenbank war offensichtlich ein eigenes Produkt, und die Dienstschicht ebenso, die die REST-API bereitstellte, die LLM-APIs aufrief und das Retrieval vorbereitete.
Ich installierte Ubuntu auf einem Desktop-Rechner, den ich hatte, brachte Swift mit MLX unter Linux zum Kompilieren, damit ich On-Device-Embedding-Modelle und LLMs zur Zusammenfassung laufen lassen konnte, und legte einen Thread darauf an. Ich lud den vollständigen arXiv-Datensatz herunter und schrieb Skripte, um Autoren und Entitäten zu extrahieren, Gruppen zu bilden und alles automatisch in den Thread einzuspielen. Dann ließ ich Seer über das lokale Netzwerk per gRPC mit dem Thread verbinden, um das Retrieval zu übernehmen. Damit war der Ansatz als tragfähig belegt: Nutzer würden ihre eigenen Threads mit ihren eigenen Daten hosten, und ein Mothership-Server würde diese Threads für ein Frontend wie Ambient zusammennähen.
Aktueller Stand
Jetzt ist Thread wieder im Spiel, als Teil von Ambient Intelligence Index, der die drei Teile organisiert: Sewn, Thread und Seam (das gRPC). Ein kohärenter Stack, der es dem Rechner jedes Einzelnen ermöglicht, persönliche Daten zu speichern und seinen persönlichen Anwendungen bereitzustellen, die Interaktionen mit der Zeit zu personalisieren und den Rechner darauf vorzubereiten, sich künftig mühelos mit anderen zu verbinden. Ich sage gern, AII ist der Anfang einer neuen Eisenbahn, und Raos Rolle ist es, die Union Pacific zu bauen.
Heute ist Thread ein Wissensgraph aus Entitäten und Beziehungen, neben einem komprimierten Vektor für jede Partition. HNSW ist vorerst ausgemustert, daher gibt es zwei Wege der Suche. Eine Ähnlichkeitssuche vergleicht eine Anfrage mit den Partitionen in den eigenen Dokumenten eines Nutzers. Eine Wissensgraph-Abfrage gleicht Entitäten und Beziehungen ab und durchläuft den Graphen, sodass das, was sie liefert, durch die auf Dokumentebene gesetzten Entitäten bestimmt wird und nicht durch einen Score. Das ist wichtig, weil ein Nutzer Millionen von Partitionen haben kann: Der Graph grenzt sie auf eine Menge von Dokumenten ein, und die Vektorsuche läuft nur auf dieser Menge.
Gruppen und Tags grenzen weiter ein. Eine Gruppe ist wie ein Ordner, und jedes Dokument ist in einer abgelegt. Tags sind Labels, von denen ein Dokument viele tragen kann; jedes wird als Entität im Graphen abgelegt, sodass die Nennung eines Tags in einer Anfrage dessen Dokumente über den Graphen findet. Ein Nutzer kann Gruppen wählen, Tags und Entitäten benennen und über den Rest eine Vektorsuche laufen lassen, um ähnliche Ideen zu finden. Das baut den Kontext für eine auf ihn personalisierte LLM-Anfrage auf oder ruft einfach eine Erinnerung ab: Es erinnert den Nutzer an eine Notiz aus der Vergangenheit, die heute wieder relevant ist, einer der wichtigsten Anwendungsfälle von Ambient. In gewisser Weise sind Entitäten und Tags austauschbare Konzepte.
In der Praxis haben Tags viel von dem übernommen, wofür Gruppen gedacht waren, da ein Dokument viele tragen kann und der Graph sie über den Namen findet, aber beides bleibt erhalten: Eine Gruppe ist weiterhin der eine Ort, an dem ein Dokument abgelegt ist, und eine Suche kann sie direkt benennen. Die Idee hinter groups war anfangs, einen aggregierten Ort zu schaffen, an dem ein Nutzer oder Eigentümer angibt, ob etwas verfügbar bleiben oder eingeschränkt sein soll, sodass er, wenn ein anderer Nutzer Kontext bei ihm anfragt, angeben kann, welche Dokumente durchsucht werden dürfen und welche nicht. Ein in der Privatsphäre verwurzeltes Feature, das weiterhin gepflegt wird und das Ambient bald in der Oberfläche widerspiegeln wird.
PartitionIndex
Der Partitionsindex ist die Darstellung eines Dokuments im Code. Ich halte ihn für den Grundpfeiler hinter der Erfindung von Thread und für das, woraus das erblüht, was Sewn, Thread und Seam durch AII ausdrücken. Im Leben gibt es immer dieses eine kleine Puzzleteil, das ein größeres Bild erst zum Klingen bringt, und der PartitionIndex mit seinem Quantizer hilft, den Text dazu zu schreiben.
Es begann bei der Computational Photography und damit, wie Filter auf Fotos angewendet werden, um neue Varianten zu erzeugen. Dieselben Filter, die Sie auf Instagram oder anderen Plattformen nutzen. Früher gab es VSCO. Eine Lookup-Tabelle ist wie eine direkte Übersetzung von etwas in etwas anderes. Ein Bild lässt sich als wörtliche Darstellung von 1000 Worten betrachten, ein Raster aus Zahlen, die RGB-Werte oder Pixel widerspiegeln, tatsächliche Farben in numerischer Form. Wird eine Lookup-Tabelle darübergelegt, verwandelt sie jedes Pixel in ein anderes Ziel, und es entsteht ein bearbeitetes, gefiltertes Ergebnis. Ich stelle mir gern eine Pinnwand vor, auf der jede Nadel ein Konzept oder einen Gedanken in einer Partition darstellt, die wir anheben müssen, um wirksam abzurufen. Die Höhe der Nadel steht für den Begriff der Distanz und ihren Bezug zur Ähnlichkeit zwischen Wörtern, auf die ich weiter oben in diesem Essay verwiesen habe.
Vor der aktuellen Implementierung, und mit einer Idee, die bald zur Vollendung zurückkehren wird, hatte jeder Thread eines Nutzers tatsächlich eine Pinnwand-Darstellung seiner gesamten Personalisierungsschicht: eine große Tabelle, die alles beschreibt, was in seinem Thread gespeichert ist, statt einer für jedes Dokument. Hier kommt die Effizienz von LUTs ins Spiel: Aus einer Anfrage erzeugt, können sie irrelevante Partitionen schnell ausblenden und relevante Einträge abrufen, indem sie Dinge „ausschneiden“, für einen schnellen O(1)-Zugriff. In diesem Fall wäre der Weg über den Wissensgraphen womöglich gar nicht nötig, es sei denn, eine wirksame Methode, Pinnwände insgesamt für Entitäten/Tags/Gruppen anzulegen, erweist sich als besser als eine für die gesamte Datenbank. Das bleibt also vorerst in der Forschung und Entwicklung und wird schließlich zum Nachweis für ein vorläufiges Patent, das ich für diesen Ansatz der Dokumentenspeicherung angemeldet habe, für die KI-nativen Entwicklerinnen und Entwickler, die zum ersten Mal in macOS- und iOS-Umgebungen einsteigen.
Damit diese eingereichten Dokumente zur Pinnwand-Metapher passen, müssen wir jedoch die Embedding-Vektoren trainieren, die das Dokument und seine Partitionen repräsentieren. Sie in ein Codebook trainieren. Ein Codebook, das die umgewandelte Darstellung der Platzierung des größeren Embeddings der Partition für jede Zeile in einem zweidimensionalen Array ist.
Das Codebook kann derzeit Milliarden von Einträgen pro Dokument speichern, was beim direkten Blick in den Code etwas ineffizient wirkt. Aber das liegt daran, dass es ursprünglich alle Dokumente eines Nutzers über sein ganzes Leben abbilden sollte und nicht nur ein einziges Dokument, sodass von hier aus zwei Wege möglich sind. Entweder wird die Größenbegrenzung bei der Aufnahme auf den genauen Bedarf des Dokuments verkleinert, was schwierig ist, denn dann ist die Dokument-ID für Änderungen eingeschränkt: Neue Bearbeitungen müssten die Codebook-Größe dynamisch anpassen, was teuer werden könnte und für den Ansatz mit komprimierten Embeddings ein komplettes erneutes Training bedeuten würde. Und der Vorteil des Ansatzes mit komprimierten Embeddings ist, dass nicht Tausende 1024-dimensionaler Embeddings für die Ähnlichkeitssuche ständig im Speicher eines Rechners gehalten werden müssen. 16 UInt16-Codes, 32 Bytes, nicht 384 davon (so war es in den HNSW-Tagen von Seer). Und das war immer noch kein 1.024-d-Vektor, denn der wird in 16 Scheiben zu je 64 Zahlen geschnitten, und jede Scheibe behält ein UInt16, das ihre nächstgelegene Kerbe benennt.
Am Ende bekommt ein Nutzer diese persönliche Datenbank, die seine Daten auf seinem Rechner speichert, für die Personalisierung vorbereitet ist und dabei On-Device-Modelle laufen lässt, die im Handumdrehen Entitäten und Beziehungen erzeugen. Sie verbindet die Punkte seines Lebens, die auf einem Macintosh gesprossen sind. Sie ermöglicht ihm eine Suche, um Dinge aus der Vergangenheit wiederzufinden, die er vergessen hat, oder Dinge der Gegenwart aus einer anderen Perspektive zu sehen. Das ist die Kraft von Datenbanken: Es geht nicht nur um Speicherung, es ist mehr als das. Manchmal ist es das ganze Leben eines Menschen, verdichtet in einem Ordner. Ein ganzes Leben, auf das nur Sie Zugriff haben sollten und das nur Sie lesen dürfen. Das ist es, was Rao leisten soll. Das ist meine Rolle.
P.S.
Ich habe beim Schreiben an dieses Lied gedacht, deshalb mache ich es zum Thema dieses Teils der Serie.
Privatsphäre ist wichtig, nicht weil Menschen etwas verbergen wollen. Sondern weil es Dinge gibt, die nur für unsere Augen bestimmt sind, damit wir sie sehen und uns an sie erinnern. Und die Motivation und Inspiration, die aus diesen Dingen erblüht, verlieren an Wert, wenn unbefugte Augen darauf schauen. Das ist auf eigene Weise entmenschlichend. Rao will nie zulassen, dass das jemand anderem durch AII passiert.