In den letzten anderthalb Jahren hat sich die Bauform verschoben, mit der KI in Unternehmen ankommt. Bis vor Kurzem war das Muster durchgehend gleich: Ein Mensch stellt eine Frage, ein System antwortet, der Mensch entscheidet, was damit geschieht. Die Prüfstelle war eingebaut.

Agenten funktionieren anders. Sie bekommen ein Ziel, planen Zwischenschritte, greifen auf Werkzeuge zu und führen aus. Sie schreiben in Systeme, versenden Nachrichten, legen Datensätze an, rufen Schnittstellen auf. Der Mensch steht nicht mehr zwischen Ausgabe und Wirkung, sondern davor und danach.

Das ist eine Verschiebung, die in Freigabeprozessen fast nirgends abgebildet ist. Geprüft wird weiterhin, ob ein Werkzeug datenschutzkonform betrieben wird und wo die Daten liegen. Nicht geprüft wird, was das System eigentlich darf.

Lokal betrieben heißt nicht kontrolliert

Ein Argument, das mir häufig begegnet: Man betreibe das System im eigenen Haus, damit sei die Sache sicher.

Der Betriebsort löst eine Frage, nämlich wohin die Daten fließen. Er löst die andere nicht. Ein Agent, der lokal läuft und Zugriff auf das Dateisystem, das Postfach und die Warenwirtschaft hat, ist mächtiger als ein Cloud-Dienst, der nur Text zurückgibt. Vertraulichkeit und Handlungsmacht sind zwei verschiedene Größen, und die zweite wird selten bewertet.

Woraus das Risiko tatsächlich entsteht

Vier Punkte, die sich in dieser Kategorie systematisch wiederfinden.

Der Agent verarbeitet Inhalte, die er nicht kontrolliert. Er liest eine eingehende Mail, ein Dokument, eine Webseite. In diesen Inhalten können Anweisungen stehen, die er als Auftrag versteht. Das ist keine Sicherheitslücke im klassischen Sinn, die sich schließen ließe, sondern eine Eigenschaft der Bauform: Ein System, das natürliche Sprache als Anweisung interpretiert, kann Anweisung und Datum nicht zuverlässig auseinanderhalten.

Er arbeitet mit den Rechten dessen, der ihn eingerichtet hat. In der Praxis sind das oft weitreichende Rechte, weil ein technisch versierter Mitarbeiter den Agenten aufgesetzt hat. Damit kann das System alles, was diese Person kann, nur schneller und ohne Innehalten.

Er verkettet Schritte. Ein einzelner Schritt mag harmlos sein. Die Kombination aus „lies das Dokument”, „finde die Kontaktdaten” und „versende” ist es nicht mehr. Freigaben, die auf einzelne Funktionen schauen, erfassen das nicht.

Er handelt schnell und ohne Zeugen. Ein Fehler eines Menschen fällt meist beim nächsten Bearbeitungsschritt auf. Ein Agent kann denselben Fehler hundertfach ausführen, bevor jemand hinsieht.

Die Leitplanken, die vor der Freigabe stehen müssen

Nichts davon spricht gegen den Einsatz. Es spricht dagegen, ihn wie die Einführung eines Chatprogramms zu behandeln.

Rechte auf das Nötige beschränken. Ein eigenes Konto für den Agenten, nicht das eines Mitarbeiters, und darauf nur die Zugriffe, die der konkrete Anwendungsfall braucht. Das ist der einzelne wirksamste Punkt und in der Praxis der am häufigsten übersprungene.

Unumkehrbares braucht eine Bestätigung. Alles, was das Haus verlässt, Geld bewegt oder Daten löscht, wird von einem Menschen bestätigt. Alles, was sich zurücknehmen lässt, kann laufen. Diese Trennlinie ist leicht zu ziehen und macht den größten Teil des Risikos beherrschbar.

Protokollieren, was hineingeht und was herauskommt. Ohne Protokoll ist ein Vorfall nicht rekonstruierbar, und ohne Rekonstruktion gibt es keine Korrektur, sondern nur eine Abschaltung.

Ein Abschaltweg, den jemand kennt. Wer stoppt das System, wenn es sich falsch verhält, und weiß diese Person am Wochenende Bescheid?

Ein benannter Verantwortlicher. Nicht der, der den Agenten gebaut hat, sondern der, dem das Ergebnis gehört.

Greift der Agent auf personenbezogene Daten zu, kommt die datenschutzrechtliche Prüfung hinzu, und der lokale Betrieb nimmt sie einem nicht ab. Zu klären sind Verantwortlichkeit und Rechtsgrundlage, gegebenenfalls die Auftragsverarbeitung, die technischen und organisatorischen Maßnahmen und bei voraussichtlich hohem Risiko die Datenschutz-Folgenabschätzung.

Der Autonomiegrad als Führungsgröße

Die KI-Verordnung beschreibt KI-Systeme als in unterschiedlichem Maße autonom. Für die Steuerung ist das die brauchbarste Kategorie, die der Rechtstext liefert, weil sie unabhängig von der Technik funktioniert.

Praktisch heißt es: Für jeden Anwendungsfall wird festgelegt, welche Entscheidungen beim Menschen bleiben, welche das System nur vorbereitet und welche es selbst auslöst. Je weiter man nach rechts geht, desto höher werden die Anforderungen an Überwachung, Eingriffsmöglichkeiten und Dokumentation.

Der Autonomiegrad ist damit eine Führungsvariable, vergleichbar mit dem Verschuldungsgrad. Man kann ihn erhöhen, wenn man weiß, was man tut, und man sollte es schrittweise tun statt in einem Sprung.

Regulatorisch kommt hinzu, dass ein Agent, der unmittelbar mit Menschen kommuniziert, unter die Transparenzpflicht aus Artikel 50 Absatz 1 der KI-Verordnung fällt. Diese Pflicht trifft den Anbieter des Systems, und sie entfällt, wenn die künstliche Natur der Interaktion für das angesprochene Publikum ohnehin offensichtlich ist. Anwendbar ist sie seit dem 2. August 2026.

Wer sie einsetzt, kommt damit trotzdem in Berührung. Ein Agent, den ein Haus selbst zusammenstellt und unter eigenem Namen vor Kunden stellt, kann es in die Anbieterrolle bringen. Und wo die Offensichtlichkeit nicht trägt, verlangen die Leitlinien der Kommission mehr als den Hinweis auf die Maschine: Der Agent soll auch offenlegen, in wessen Auftrag er handelt. Ausführlich steht das im Beitrag zu den Pflichten ab August.

Warum das eine Führungsfrage ist und keine der IT

Weil die Entscheidung, welche Handlungen ein System selbständig auslösen darf, keine technische ist. Sie ist eine Aussage darüber, welches Risiko das Unternehmen zu tragen bereit ist, und welche Kontrolle es dafür aufgibt.

Diese Entscheidung wird derzeit in vielen Häusern implizit getroffen, nämlich von der Person, die den Agenten einrichtet und dabei die Rechte vergibt, die gerade praktisch sind. Das ist kein Vorwurf an diese Person. Es ist ein Hinweis darauf, dass eine Entscheidung dieser Tragweite nicht dort entstehen sollte.

Was ein tragfähiger Rahmen dafür enthält, steht im Beitrag zur KI-Richtlinie; die Begleitung beim Aufbau liefert die KI-Governance.

Eine Frage, mit der sich der eigene Stand in fünf Minuten prüfen lässt: Läuft in Ihrem Haus bereits ein System, das ohne menschliche Bestätigung etwas nach außen sendet, und wer hat das freigegeben?

---

Rechtsstand: 30. Juli 2026. Wo sich die Rechtslage danach ändert, wird der Beitrag nachgeführt oder die Änderung gekennzeichnet.