Cybersicherheit
Computer Use & das Bot-Problem
Der Bau von Mary und VisionAX hat mir etwas beigebracht, das ich nicht lernen wollte: Dieselbe Architektur, die Computer Use privat macht, macht es auch überzeugend. Darüber lohnt es sich, ehrlich zu schreiben, nicht nur stolz.
Alles, was ich bisher ausgeliefert habe – Mary, die den Accessibility-Baum statt Screenshots liest, VisionAX, das auf On-Device-Vision statt auf ein Cloud-Modell zurückfällt –, war auf ein Ziel hin entworfen: den Rechner nie verlassen, nie Pixel erraten, wenn Struktur verfügbar ist. Gutes Privacy Engineering. Aber auf Plattformen, die Menschen und Bots unterscheiden sollen, sind Privatsphäre und Erkennbarkeit oft dieselbe Achse, von zwei Seiten betrachtet.
Wonach eine Plattform tatsächlich sucht
Eine soziale Plattform prüft Menschlichkeit nicht direkt – das kann sie nicht. Sie prüft ein Muster plausiblen Verhaltens: Mausbewegungen mit dem Zittern, das ein Trackpad hat, Anfragen aus einem Browser mit echter Rendering-Pipeline, Zeitabstände zwischen Aktionen, die dazu passen, wie lange ein Mensch braucht, um etwas zu lesen, bevor er darauf klickt, Sitzungen, die aussehen, als stammten sie von einer durchgehenden Person und nicht von einem Skript, das ein Makro abspielt. Klassische Bot-Netzwerke fallen bei diesen Prüfungen durch, weil sie den Bildschirm meist ganz überspringen – sie rufen direkt eine API auf oder steuern einen Headless-Browser, der nie ein Bild zeichnet. Beides hinterlässt Fingerabdrücke: fehlende Header, unmenschliche Zeitabstände, ein navigator.webdriver-Flag, eine Welle identischer Anfragen ohne Browsen dazwischen.
Computer-Use-Software schließt genau diese Lücke, und sie tut es aus guten Gründen. Mary liest den Accessibility-Baum, weil das dieselbe Struktur ist, die macOS selbst an VoiceOver übergibt – sie ist die Grundwahrheit darüber, was auf dem Bildschirm steht, keine Schlussfolgerung. VisionAX gibt es für den Moment, in dem AX dunkel wird, sodass der Rückfall an Fähigkeit verliert, nie aber an Ehrlichkeit darüber, was wirklich da ist. Zusammengenommen simuliert ein so gebauter Agent keine Sitzung. Er steuert den tatsächlichen Eingabepfad des Betriebssystems: echte Klickereignisse an echten Koordinaten, eine echte Rendering-Pipeline dahinter, Tastenanschläge mit dem Timing-Jitter jener Policy, die sie erzeugt. Keines der klassischen Bot-Signale greift, weil keine der klassischen Bot-Abkürzungen genommen wurde.
Das ist kein Mangel, der speziell Mary oder VisionAX betrifft. Es ist eine Eigenschaft der ganzen Kategorie: Jeder Agent, der einen Bildschirm so bedient wie ein Mensch, ist konstruktionsbedingt schwerer von einem Menschen zu unterscheiden. Je besser Computer Use seine eigentliche Aufgabe erfüllt – ein nachvollziehbarer On-Device-Bediener eines echten Rechners zu sein –, desto weniger Angriffsfläche hat die Trust-and-Safety-Abteilung einer Plattform. Ich habe hier keine Lösung für diese Spannung anzubieten, und ich würde jedem misstrauen, der behauptet, eine zu haben. Was ich habe, ist ein Grund, warum die Vervielfachung durch ein Bot-Netzwerk die Einsätze über das Maß eines Achselzuckens hinaus verändert.
Warum „im großen Maßstab“ der entscheidende Teil ist
Ein Agent, der einen Rechner im Auftrag eines Menschen bedient, ist ein Pair-Programming-Partner, oder ein Mensch, der keine Maus benutzen kann und seinen Computer für sich arbeiten lässt. Dieselbe Fähigkeit, unbeaufsichtigt über eine Farm virtueller Maschinen mit wechselnden Identitäten betrieben, ist ein Weg, den Anschein von Tausenden unabhängiger Menschen zu erzeugen, die eine Meinung vertreten, sich an einem Beitrag beteiligen oder einander zustimmen – in öffentlich folgenreichen Momenten wie Wahlen, wenn dieser Anschein mehr wert ist als fast jederzeit sonst. Koordiniertes inauthentisches Verhalten ist kein neues Problem; Plattformen bekämpfen es seit einem Jahrzehnt. Neu ist, dass das Werkzeug dafür überhaupt nicht mehr automatisiert aussehen muss.
Ich werde nicht beschreiben, wie man diese Farm baut, und würde es auf Nachfrage ablehnen – das ist der Unterschied zwischen dem Benennen eines Risikos und dem Aushändigen der Mittel, es zu verwirklichen. Was ich für klar benennenswert halte, weil es strukturell und nicht zufällig ist: Die Fähigkeit, die Computer Use gut macht für Barrierefreiheit, für Pair Programming, für jeden, der will, dass sein Rechner nach seiner Absicht handelt, ist dieselbe Fähigkeit, die es gut macht für das Fabrizieren falschen Konsenses. Es gibt keine Version von „einen echten Bildschirm überzeugend bedienen“, die nur für die erste Verwendung funktioniert.
Warum es deshalb offen sein muss
Bei einer solchen Dual-Use-Fähigkeit lautet die Frage nicht, ob man sie baut – Computer Use wird ohnehin gebaut, meist von gut finanzierten Unternehmen, die es als geschlossene Produkte ausliefern. Die Frage ist, was man mit der Tatsache anfängt, dass sie Dual-Use ist. Ich glaube, die Antwort ist das Gegenteil des Instinkts, den ein Unternehmen, das ein Produkt schützt, gewöhnlich hat.
Ein geschlossener Computer-Use-Agent ist an beiden Enden eine Blackbox. Niemand außerhalb des Anbieters kann überprüfen, welche Schutzvorkehrungen existieren – Ratenbegrenzungen, die Weigerung, jenseits bestimmter Vertrauensgrenzen zu interagieren, Protokollierung, die ein Missbrauchsmuster zurückverfolgbar machen würde. Niemand außerhalb des Anbieters kann überprüfen, dass diese Vorkehrungen über ein Update hinweg bestehen bleiben oder dass jeder Kunde dieselben bekommt. Und die Plattformen, die sich gegen Missbrauch des Werkzeugs verteidigen wollen, arbeiten blind gegen es – sie können nicht untersuchen, was es auf der Eingabeebene tatsächlich tut, und keine Erkennungssignatur gegen bekanntes Verhalten bauen, weil es kein Artefakt zum Studieren gibt außer der Gesamtwirkung eines Bot-Netzwerks, das aufzuhalten sie schon zu spät dran sind.
Open Source neutralisiert das Dual-Use-Problem nicht – jeder kann den Quellcode eines offenen Projekts lesen und daraus etwas Missbräuchliches bauen, und ich würde lügen, wenn ich sagte, dass VisionAX unter GPL-3.0 das unmöglich macht. Was sich ändert, ist, wer herausfinden darf, wie das Werkzeug funktioniert, und wann. Die Schutzvorkehrungen eines geschlossenen Anbieters sind eine Behauptung, die man auf Treu und Glauben hinnimmt, der Öffentlichkeit erst nach dem Schaden und einer Untersuchung zugänglich. Die Schutzvorkehrungen eines offenen Projekts sind ein Diff, den jeder am Tag seiner Veröffentlichung lesen kann – und ebenso wichtig: Das gilt auch für das Fehlen eines solchen, bevor jemand das fehlende Stück in etwas Schlimmeres einbaut. Das ist das ganze Argument dafür, VisionAX so zu bauen, wie ich es getan habe: nicht weil Offenheit Missbrauch verhindert, sondern weil es die einzige Version dieser Fähigkeit ist, bei der die Menschen, die sich gegen Missbrauch verteidigen wollen, nicht dauerhaft einen Schritt hinter denen zurückliegen, die sie bauen.