KI-Agenten übernehmen jetzt Ihre Tastatur. Was kann da schiefgehen?

Diese Woche hat Anthropic „Computer Use" für Claude veröffentlicht – eine Funktion, die es der KI ermöglicht, Apps zu öffnen, im Web zu surfen, Tabellen auszufüllen und Pull Requests auf Ihrem Mac einzureichen. Sie schreiben Claude eine Nachricht vom Handy, und der Assistent erledigt die Arbeit auf Ihrem Computer, während Sie weg sind. Die Funktion wurde als Research-Preview für Pro- und Max-Abonnenten gestartet und lässt sich mit Dispatch kombinieren – einem mobilen Tool, mit dem Sie Aufgaben aus der Ferne zuweisen können.

Das ist Teil eines größeren Wettlaufs. OpenClaw, das Open-Source-Agent-Framework, ging Anfang des Jahres viral und zog so viel Aufmerksamkeit auf sich, dass sein Entwickler abgeworben wurde. Mehrere Labore wetteifern jetzt darum, Agenten zu veröffentlichen, die über das bloße Chatten hinausgehen und anfangen, echte Dinge zu tun. Wie ein CEO letzte Woche formulierte, seien diese Agenten „das nächste ChatGPT".

Und hier ist die Sache: Wir erleben gerade in Echtzeit eine Kategorieveränderung – und die meisten Entwicklungsteams betrachten sie aus dem falschen Blickwinkel.

Das eigentliche Problem ist nicht die KI. Es sind die Zugriffsrechte.

Wenn wir Penetrationstests für Gaming-Studios und Unternehmenskunden durchführen, sind die beunruhigendsten Befunde selten ausgefeilte Exploits. Es sind Berechtigungsprobleme. Dienstkonten mit zu weitreichendem Zugriff. Weit geöffnete Admin-Tools. Zugangsdaten, die dort gespeichert sind, wo sie nicht hingehören.

Stellen Sie sich nun vor, einem KI-Agenten die Möglichkeit zu geben, auf Ihrem Desktop zu klicken, zu tippen und zu surfen. Anthropic sagt, Claude werde vor dem Zugriff auf neue Apps um Erlaubnis bitten, und Nutzer können den Vorgang jederzeit stoppen. Das ist ein vernünftiger Ausgangspunkt. Aber „vernünftiger Ausgangspunkt" und „produktionsreif für Teams, die sensible Daten verarbeiten" sind zwei völlig verschiedene Dinge.

Claudes Computer-Use-Funktion funktioniert derzeit nur unter macOS. Sie basiert auf Screenshots – das bedeutet, die KI liest Pixel auf Ihrem Bildschirm, um zu entscheiden, was als Nächstes zu tun ist. Wenn ein Passwortmanager automatisch ausfüllt, während Claude zuschaut, sieht die KI das. Wenn ein Slack-Thread mit Kunden-PII vorbeiscrollt, sieht sie das ebenfalls. Anthropic selbst erklärte, die Funktion sei „im Vergleich zu Claudes Fähigkeit, Code zu schreiben oder mit Text zu interagieren, noch früh" und warnte, dass „Claude Fehler machen kann".

Diese Ehrlichkeit wird geschätzt. Ich glaube aber, dass Teams diese Funktion schneller einsetzen werden, als sie Schutzmaßnahmen dafür aufbauen.

Was das für Entwickler bedeutet

Die entwicklerseitige Perspektive ist interessant. Anthropic sagt, Claude könne Änderungen in einer IDE vornehmen, Pull Requests einreichen und Tests ausführen. Als Solo-Entwickler, der ein Nebenprojekt veröffentlicht, kann das wirklich Zeit sparen.

Für Teams sieht das anders aus. Wir entwickeln Webanwendungen und APIs für Unternehmenskunden mit Compliance-Anforderungen, oft in regulierten Branchen in ganz Europa. Der Gedanke, dass ein KI-Agent autonom PRs einreicht und Tests ausführt, wirft Fragen auf, die über „Ist der Code korrekt?" hinausgehen. Wer hat ihn geprüft? Auf welche Daten hat der Agent zugegriffen, um ihn zu schreiben? Gibt es einen Audit-Trail?

Eine aktuelle Studie mit 700 Ingenieuren ergab, dass 69 % der Entwickler, die KI-Coding-Tools sehr häufig nutzen, bei KI-generiertem Code „immer, fast immer oder häufig" Probleme bei der Bereitstellung erleben. Der Code wird schneller geschrieben, aber die Test-, Sicherheits- und Bereitstellungsinfrastruktur hat nicht Schritt gehalten. Ein Agent, der auch in Ihrer IDE Schaltflächen betätigen kann, schließt diese Lücke nicht. Er vergrößert sie.

Aus unserer PHP- und Docker-Arbeit an cloudnativen Anwendungen haben wir auf die harte Tour gelernt: Geschwindigkeit ohne Leitplanken bedeutet nur, dass man Dinge früher kaputt macht. Die Teams, die zuverlässig liefern, sind nicht die, die Code am schnellsten schreiben. Es sind die, deren CI/CD-Pipelines, Code-Review-Prozesse und Sicherheitsprüfungen robust genug sind, um Geschwindigkeit aufzufangen.

Mobile Teams sollten ebenfalls aufhorchen

Das klingt vielleicht nach einer Desktop-Geschichte – ist es aber nicht. Die Dispatch-Funktion verbindet gezielt Telefon und Computer. Sie erteilen einen Auftrag von Ihrem iPhone aus, und Claude führt ihn auf Ihrem Mac aus. Dieses geräteübergreifende Workflow-Muster werden wir noch sehr viel häufiger sehen.

In unseren nativen iOS- und Android-Projekten, insbesondere im Gesundheitswesen und im IoT, haben wir uns seit Jahren mit den Schwierigkeiten der geräteübergreifenden Aktionskoordinierung auseinandergesetzt. Das Schwierige war nie die Kommunikationsschicht. Es waren Vertrauensgrenzen. Welches Gerät ist maßgeblich? Was passiert, wenn die Remote-Aktion lautlos fehlschlägt? Wie zeigt man Nutzern Fehler an, die nicht auf den Bildschirm schauen, auf dem die Aktion stattgefunden hat?

Agentengesteuerte Workflows zwischen Telefon und Desktop werden auf genau dieselben Probleme stoßen – nur dass der „Nutzer" in der Schleife jetzt eine KI ist, die Ihnen nicht sagen kann, dass sie verwirrt ist. Sie klickt einfach weiter.

Was Sie jetzt tun können

Hier sind Maßnahmen, die Ihr Team diese Woche ergreifen kann, bevor jemand einen Computer-Use-Agenten auf einem Arbeitsrechner installiert:

1. Prüfen Sie, was auf dem Bildschirm zu sehen ist. Wenn Ihre Entwickler Kundendaten, Zugangsdaten oder interne Dashboards auf ihren Desktops sichtbar haben, kann ein Agent, der Screenshots machen kann, all das sehen. Das ist dieselbe Angriffsfläche, die wir bei Sicherheitsüberprüfungen testen – nur ausgelöst durch ein Tool, das Sie selbst eingeladen haben.

2. Legen Sie eine Richtlinie fest, bevor das Tool ankommt. Entscheiden Sie jetzt, ob Agenten, die Computer steuern können, für Ihre Organisation zugelassen sind, für welche Anwendungsfälle und auf welchen Geräten. Eine Richtlinie im Nachhinein anzupassen ist schmerzhaft.

3. Überspringen Sie nicht die langweiligen Dinge. Wenn Ihre CI/CD-Pipeline, Testabdeckung und Ihr Code-Review-Prozess nicht robust genug sind, um schlechten menschlichen Code abzufangen, werden sie definitiv keinen schlechten KI-generierten Code abfangen, der von einem autonomen Agenten eingereicht wird. Stärken Sie zuerst Ihren Entwicklungsworkflow.

4. Beobachten Sie die Berechtigungen, nicht die Demos. Die beeindruckenden Demos zeigen, wie Claude eine PDF-Datei exportiert. Das Risiko liegt darin, worauf die KI dabei noch zugreifen kann. Behandeln Sie den Zugriff eines Agenten so, wie Sie den ersten Arbeitstag eines neuen Auftragnehmers behandeln würden: minimale Rechte, eingeschränkter Zugriff, Aufsicht, bis Vertrauen erarbeitet wurde.

Das große Bild

Ich komme immer wieder auf ein Muster zurück, das wir in unserer Arbeit mit Unternehmenskunden beobachten: Neue Fähigkeiten werden schneller eingeführt, als die nötige Sicherheits- und Prozessreife aufgebaut werden kann, um sie zu unterstützen. Das geschah bei der Cloud-Migration, bei der Containerisierung – und es geschieht jetzt gerade mit KI-Agenten.

Die Technologie ist wirklich beeindruckend. Zuzusehen, wie eine KI Ihren Desktop durchsucht, um eine Aufgabe zu erledigen, ist ein echter „Oh, wir sind jetzt hier"-Moment. Aber beeindruckend und produktionsreif sind nicht dasselbe, und ich würde es vorziehen, wenn unsere Kunden sechs Monate hinter dem Hype zurückliegen, dafür aber ihre Daten intakt haben – anstatt an der Spitze zu sein und einen Vorfallbericht in der Hand zu halten.

Anthropic verkauft die Sache, zu ihrem Verdienst, nicht über. Sie haben es als Research-Preview bezeichnet, die Einschränkungen benannt und darauf hingewiesen, dass sich Bedrohungen ständig weiterentwickeln. Das ist die richtige Haltung. Ich wünschte nur, jedes Team, das diese Tools evaluiert, würde sie mit derselben Vorsicht angehen.

Wenn die Frage, wo KI-Agenten in Ihren Entwicklungsworkflow passen – oder eben nicht passen –, vertraut klingt, sprechen wir darüber.