Cybersécurité
L’usage de l’ordinateur et le problème des bots
Construire Mary et VisionAX m’a appris quelque chose que je ne m’étais pas proposé d’apprendre : la même architecture qui rend l’usage de l’ordinateur privé le rend aussi convaincant. Cela mérite d’être écrit honnêtement, pas seulement avec fierté.
Tout ce que j’ai livré jusqu’ici — Mary qui lit l’arbre d’accessibilité au lieu de captures d’écran, VisionAX qui se rabat sur la vision sur l’appareil plutôt que sur un modèle dans le cloud — a été conçu autour d’un seul objectif : ne jamais quitter la machine, ne jamais deviner des pixels quand la structure est disponible. De la bonne ingénierie de la vie privée. Mais sur des plateformes conçues pour distinguer les personnes des bots, vie privée et détectabilité sont souvent le même axe vu de deux côtés.
Ce qu’une plateforme vérifie réellement
Une plateforme sociale ne vérifie pas directement l’humanité — elle ne le peut pas. Elle vérifie un schéma de comportement plausible : des mouvements de souris avec la gigue d’un trackpad, des requêtes émises par un navigateur doté d’une vraie chaîne de rendu, un délai entre les actions qui correspond au temps qu’une personne met à lire quelque chose avant de cliquer, des sessions qui semblent venir d’une seule personne continue plutôt que d’un script rejouant une macro. Les réseaux de bots traditionnels échouent à ces contrôles parce qu’ils sautent en général l’écran entièrement — ils appellent directement une API, ou pilotent un navigateur sans interface qui ne dessine jamais une image. Les deux laissent des empreintes : des en-têtes manquants, un rythme inhumain, un indicateur navigator.webdriver, une rafale de requêtes identiques sans aucune navigation entre elles.
Les logiciels d’usage de l’ordinateur comblent exactement cet écart, et pour de bonnes raisons. Mary lit l’arbre d’accessibilité parce que c’est la même structure que macOS donne lui-même à VoiceOver — c’est la vérité de terrain sur ce qui est à l’écran, non une inférence. VisionAX existe pour le moment où l’AX s’éteint, de sorte que le repli perd en capacité, jamais en honnêteté sur ce qui est réellement là. Ensemble, un agent construit ainsi ne simule pas une session. Il pilote le véritable chemin d’entrée du système : de vrais événements de clic à de vraies coordonnées, une vraie chaîne de rendu derrière eux, des frappes avec la gigue temporelle de la politique qui les génère. Aucun des signaux traditionnels de bot ne s’applique, parce qu’aucun des raccourcis traditionnels de bot n’a été pris.
Ce n’est pas un défaut propre à Mary ou à VisionAX. C’est une propriété de toute la catégorie : tout agent qui manipule un écran comme le fait une personne est, par construction, plus difficile à distinguer d’une personne. Plus l’usage de l’ordinateur devient bon dans son vrai travail — être un opérateur lisible, sur l’appareil, d’une machine réelle — moins la confiance et la sécurité des plateformes ont de prise sur lui. Je n’ai pas de solution à offrir ici pour cette tension, et je me méfierais de quiconque prétendrait en avoir une. Ce que j’ai, c’est une raison pour laquelle la multiplier par un réseau de bots change l’enjeu bien au-delà d’un haussement d’épaules.
Pourquoi « à grande échelle » est ce qui compte
Un agent qui manipule une machine pour le compte de quelqu’un est un binôme de programmation, ou une personne qui ne peut pas utiliser une souris et fait travailler son ordinateur pour elle. La même capacité, exécutée sans surveillance sur une ferme de machines virtuelles aux identités tournantes, est un moyen de fabriquer l’apparence de milliers de personnes indépendantes qui ont une opinion, réagissent à une publication ou se donnent raison mutuellement — durant des moments publics à fort enjeu comme les élections, où cette apparence vaut plus qu’à presque tout autre moment. Le comportement inauthentique coordonné n’est pas un problème nouveau ; les plateformes le combattent depuis une décennie. Ce qui est nouveau, c’est que l’outillage pour cela n’a plus du tout besoin d’avoir l’air automatisé.
Je ne vais pas décrire comment construire cette ferme, et je refuserais si on me le demandait — c’est la différence entre nommer un risque et donner à quelqu’un les moyens de le réaliser. Ce que je pense utile de nommer clairement, parce que c’est structurel plutôt qu’accidentel, c’est ceci : la capacité qui rend l’usage de l’ordinateur bon pour l’accessibilité, pour la programmation en binôme, pour quiconque veut que sa machine agisse selon son intention, est la même capacité qui le rend bon pour fabriquer un faux consensus. Il n’existe pas de version de « manipuler un vrai écran de façon convaincante » qui ne fonctionne que pour le premier usage.
Pourquoi cela implique qu’il doit être ouvert
Face à une capacité à double usage comme celle-ci, la question n’est pas de savoir s’il faut la construire — l’usage de l’ordinateur est construit de toute façon, surtout par des entreprises bien financées qui le livrent comme produit fermé. La question est de savoir ce que l’on fait de ce double usage. Je pense que la réponse est l’inverse de l’instinct qu’a d’ordinaire une entreprise qui protège un produit.
Un agent d’usage de l’ordinateur fermé est une boîte noire aux deux bouts. Personne en dehors du fournisseur ne peut vérifier quels garde-fous existent — limites de débit, refus d’interagir au-delà de certaines frontières de confiance, journalisation qui permettrait de remonter à un schéma d’abus. Personne en dehors du fournisseur ne peut vérifier que ces garde-fous restent en place d’une mise à jour à l’autre, ni que chaque client reçoit les mêmes. Et les plateformes qui essaient de se défendre contre un usage abusif de l’outil travaillent à l’aveugle — aucun moyen d’étudier ce qu’il fait réellement au niveau de l’entrée, aucun moyen de construire une signature de détection à partir d’un comportement connu, puisqu’il n’y a aucun artefact à étudier hormis l’effet cumulé d’un réseau de bots qu’il est déjà trop tard pour arrêter.
L’open source ne neutralise pas le problème du double usage — n’importe qui peut toujours lire le code source d’un projet ouvert et en tirer quelque chose d’abusif, et je mentirais en disant que VisionAX sous GPL-3.0 rend cela impossible. Ce que cela change, c’est qui peut découvrir comment l’outil fonctionne, et quand. Les garde-fous d’un fournisseur fermé sont une affirmation que l’on prend sur parole, que le public ne peut découvrir qu’après le dommage et une enquête. Les garde-fous d’un projet ouvert sont un diff que chacun peut lire le jour où il arrive — et tout aussi important, l’absence d’un tel garde-fou aussi, avant que quelqu’un ne construise la pièce manquante dans quelque chose de pire. Voilà tout l’argument pour construire VisionAX comme je l’ai fait : non pas parce que l’ouverture empêche l’usage abusif, mais parce que c’est la seule version de cette capacité où ceux qui essaient de se défendre contre l’usage abusif ne sont pas en permanence un pas derrière ceux qui la construisent.