Zukunftsvision
Seers Weg zu Mary
Am 16. August dieses Jahres habe ich eine Reihe von Essays veröffentlicht, Zusammenfassungen meiner gesamten Arbeit dieses Jahres, mit KI aus meinen eigenen Notizen und Codebasen entworfen. Der Großteil davon wurde in Ambient Intelligent Systems behandelt. Ich habe sie so entworfen, um Zeit und Kraft zu sparen, während ich die Systeme weiterbaute und sie gedanklich parallel entwarf. Das ist eine der guten Seiten von KI, solange man bearbeitet, was sie liefert – und ich bearbeite weiter, weil ich zeitweise lieber Redakteur bin. Allerdings gefällt mir die Prosa manchmal – Ambient Intelligent Systems ist ziemlich poetisch geworden. Es fühlte sich wie eine Reise an, und die Emotion, die darin steckte, wurde festgehalten. Aber ich möchte wirklich technisch werden; sonst ist es ziemlich schwierig, wirklich zu vermitteln, wie sich Jahre des Lernens zu dem verdichtet haben, was ich baue, MaryOS. Mary ist diese Summe von Erfahrungen, mit äußerster Sorgfalt in einer Lösung zusammengeführt. Ein Projekt, das ich nebenher weiter betreuen möchte, während ich an Gita's Ballad arbeite, jetzt in einem privaten Repository. Ein Projekt, das ich mich noch sehr lange pflegen sehe.
Seer war der Anfang. Ich wollte das Lizenzgebührenproblem bei geschriebenen Werken angehen, die in großen Sprachmodellen verwendet werden. Ich ging die Entwicklung zunächst auf hoher Ebene an, um zu sehen, ob die Idee genug Unterstützung für einen tieferen Einstieg gewinnen könnte. Tief zu gehen ist schwer, wenn ein Projekt neben allem anderen läuft, aber dass MaryOS am Ende alles zusammenführt, hat mich so entspannt, dass es mir jetzt Freude macht, darüber zu schreiben, was ich mit diesem Projekt vorhabe.
Seer sollte ein embeddingbasiertes Datenbankwerkzeug sein, das Dokumente, persönliche Dokumente, in großem Umfang aufnimmt, um LLM-Ausgaben für einen Nutzer zu personalisieren, und dabei mit Ähnlichkeitsverfahren einen einfachen Größenvergleich zwischen dem abgerufenen Kontext und einer generierten Ausgabe anstellt. Es ist keine robuste Lösung, nicht auf der Modellebene vor der Token-Vorhersage, aber es reichte, um den Punkt zu beweisen. Ich habe vor, mit Mary jetzt die Ebene der Token-Vorhersage zu erreichen, und ich freue mich darauf, später darüber zu schreiben und auch darüber, wie ich Vorhersagen mit Wasserzeichen ihrer Herkunft versehe.
Ich hatte eine iOS-Basisanwendung gebaut, um mein Design-Denken rund um Seer wirklich zu schärfen. Es war ehrlich gesagt insgesamt ein großartiges Projekt, um mich von der selbstgesteuerten Forschungsreise zurückzuholen, auf der ich seit Beginn der LLM-Ära war. Es brachte mich zurück und trieb mich an, den heutigen Punkt zu erreichen. Ich begann im Oktober 2025, nachdem ich meinen Ansatz von Januar bis Februar 2025 geplant hatte, und ein Jahr später bin ich sicher, dass wir ordentliche Urheberrechtssysteme mit generativen Technologien bauen können; wir haben es nur noch nicht versucht.
Seer ist eine Swift-on-Server-Anwendung mit mehreren Routen, die Supabase zur Authentifizierung nutzt und bei Scaleway gehostet wurde. Die Schlüsselkomponente war diese Speicherlösung, die ich selbst entwickelt hatte, basierend auf meinem Wissen über Lookup-Tabellen (LUTs), die für Filter in Color-Grading-Technologien verwendet werden. Ein Dokument lässt sich in mehrere Segmente aufteilen, und jedes Segment hat einen Embedding-Vektor, der im Speicher gehalten wird, komprimiert, sodass nicht immer der gesamte 1024-dimensionale Vektor im Speicher liegt – nur 64-dimensionale Chunks –, und wenn Kandidaten gefunden sind, wird schließlich die Platte gelesen, um den dazugehörigen Volltext zu holen. Es funktionierte wirklich gut. Die Partitionierung wurde so spezifisch, dass es sich fast wie Magie anfühlte. Und mehrere 64-dimensionale Suchen wieder so zusammenzusetzen, wie eine tatsächliche 1024-dimensionale Suche aussähe, löste das Vertrauen in die Übereinstimmung mit dem Quellmaterial ein. Besonders beim Aggregieren von Kurzbeiträgen oder Social-Media-Inhalten von Bluesky.
Ich war zu einem robusteren und effizienteren Suchsystem hingezogen und nahm mir zunächst HNSW vor – eine Methode, diese Vektoren in Nachbarschaften zu speichern, sodass man zu einem benachbarten Dokument springen kann, ohne alles im Speicher Abgelegte linear zu durchlaufen. Diese Nachbarn wurden bei der Aufnahme erzeugt, aber ich merkte bald, dass die Pflege eines HNSW sehr mühsam war und das Neuaufbauen von Graphen bei Löschungen und Einfügungen teuer. Das ist an sich kein Problem, aber ich wollte mehr Möglichkeiten erkunden, bevor ich als Solo-Ingenieur zu viel Zeit in einen besseren Weg investierte, HNSWs für große Anwendungen zu pflegen.
Davor hatte ich immer diesen Gedanken: „Dezentralisierte Intelligenz zentralisiert das Wachstum für das Ganze.“ Er stammt auch von einem meiner ersten Jobs, wo unser Slogan „Big brains, small devices“ lautete. 2023 hatte ich immer das Gefühl, dass die Zukunft darin liegt, dass Millionen kleiner Modelle ihr spezialisiertes Wissen zu einem einzigen, aggregierten Verständnis bündeln, und jetzt beschloss ich, im Februar bis März 2026 den Kurs zu wechseln, um dabei zu bleiben.
Ich wollte, dass der Speicherteil dieser Lösung verteilt ist. Seer verbindet sich mit diesen als Knoten zum Abruf, und nicht nur entfällt die Last, in der Cloud eine große navigierbare Welt mehrerer Nutzer zu pflegen, es löst auch die Verankerung der Personalisierung an ihrer Wurzel. Nutzer besitzen ihre Daten und entscheiden, ob sie sie mit dem Netzwerk teilen oder nicht. So kam gleich danach Totem und teilte die Codebasis in zwei strikte Gruppen. Seer ist die Server-API-Schicht für On-Device- und LLM-APIs, während der Speicher über Totem gelöst wird, das Totems per gRPC verbindet und durchsucht und die Antworten bei Bedarf direkt in den Server streamt.
Ich wollte Totem von Anfang an als Option auf einem erweiterbaren Laufwerk bauen, also richtete ich einen alten Computer ein, auf dem Ubuntu 24 lief, brachte Swift unter Linux zum Laufen, startete das Totem und verband es über eine lokale IP mit dem auf meinem MacBook gehosteten Seer. Es funktionierte erstaunlich gut und festigte diese wunderbare Idee von Modularität, dezentralem Denken, Freiheit und Personalisierung weiter. Der Übergang von HNSW zu Wissensgraphen, diese Idee strikter Bindungen von Entitäten und Beziehungen, schuf eine Suchfunktion, die sich nicht zufällig anfühlte; sie war deterministisch. Aber eine Frage, die bald folgte, war, wie man diese Schemas im laufenden Betrieb erzeugt, statt sie manuell anzupassen.
Ich möchte später tiefer in all diese Ansätze einsteigen und sehe diesen ersten Text als Einführung und Landkarte für die überarbeitete Fassung von Ambient Intelligent Systems, denn Reisen sind es wert, dokumentiert zu werden, solange die Erinnerung frisch ist. Sonst verblassen die Details.
Also ja, es begann mit Forschung zu Lizenzgebühren, ging über zur Verteilung, dann kam die Suche nach dem Gefäß. Eine Chat-Anwendung fühlte sich nie wie ein Ziel oder Endprodukt dieser Ära an. Sie fühlte sich für mich immer wie eine Demo an. Nicht nur das: Seit 2022 gab mir generative Technologie das Gefühl, meine Kreativität sei wertlos, als wäre der Schaffensprozess von einer Maschine in einer Kiste übernommen worden, in deren Funktionsweise ich nicht hineinsehen konnte, und die wenig Sicherheit für unsere Zukunft bot. Es war ein Gegenentwurf zu meiner Menschlichkeit, aber KI bringt auch Gutes: Sie bringt Tempo, sie spart Zeit. Ich wollte diese beiden Wirklichkeiten verbinden. Also dachte ich an diese Idee von Geistern, Seelen, Engeln, die erscheinen, um meine Arbeit zu inspirieren, wenn ich mich in einem kreativen Prozess befinde. Diese Idee eines parallelen Helfers, eines Pair Programmers. Ein persönliches KI-Betriebssystem.
Dann kam Bonnie. Ich mochte diese Idee von „Bonnie & Clyde“, nicht im romantischen Sinn, sondern in einem kollaborativen Licht, Probleme gemeinsam zu lösen. Das Computer-Use-Problem anzugehen, bevor es diesen Namen hatte. Zu beweisen, dass die Mensch-Computer-Interaktion alles war, worum ich gebeten hatte. Freihändig zu YouTube-Videos navigieren, Apple Music abspielen, während sie verstand, wo ich in Xcode arbeitete, und mir half, Dinge zu finden.
Nicht für mich zu programmieren, sondern mir aktiv zu helfen, konzentriert zu bleiben.
Dann kam dieser Funke, als sie aus heiterem Himmel Gita's Ballad erwähnte. Es hatte mit dem zu tun, was ich sah, aber es lag nicht in diesem Kontext.
Das war das Ambiente, nach dem ich griff. Und bald wird es als MaryOS erscheinen, der Feinschliff, der Kohinoor. Derjenige, der diese Vision in ihrer Gesamtheit tragen wird, als neue Art, unsere Maschinen zu bedienen.