Der Begriff klingt nach Katastrophe, und genau das führt in die Irre. Wenn ich in Häusern nach KI-Schadensfällen frage, bekomme ich zunächst ein Kopfschütteln. Wenn ich stattdessen frage, ob schon einmal ein Angebot mit falschen Zahlen hinausgegangen ist oder eine Bewerbung aussortiert wurde, ohne dass jemand nachvollziehen konnte warum, wird die Runde stiller.

Typische Schadensmuster

In den Häusern, in denen ich KI-Einführungen begleite, begegnen mir vor allem die folgenden Muster. Eine vollständige Einteilung ist das nicht, aber sie macht die Prüfung im eigenen Betrieb greifbar.

### Der Inhaltsfehler, der nach außen geht

Eine Ausgabe enthält eine erfundene Zahl, eine falsche Frist oder eine Fundstelle, die es nicht gibt. Sie wird übernommen, weil sie plausibel klingt, und landet in einem Angebot, einem Kundenschreiben oder einer Ausschreibungsantwort. Der Schaden reicht vom Nacharbeitsaufwand bis zur vertraglichen Bindung an eine Zusage, die niemand prüfen wollte.

### Der Abfluss von Information

Ein Dokument, das Geschäftsgeheimnisse oder personenbezogene Daten enthält, wird in ein Werkzeug gegeben, das dafür nicht freigegeben ist. Wo ich das erlebt habe, steckte dahinter Zeitdruck und ein freigegebenes Werkzeug, das schlechter war als das verbotene. Auffallen kann so etwas lange nach dem Vorgang, wenn überhaupt.

### Die Entscheidung, die niemand begründen kann

Eine Vorauswahl, eine Bonitätsbewertung, eine Priorisierung ist durch ein System gelaufen. Auf die Nachfrage eines Betroffenen, eines Kunden oder einer Behörde kann niemand erklären, wie sie zustande kam. Das ist das Muster, das im Nachgang am unangenehmsten wird, weil sich die Entscheidung nicht mehr rekonstruieren lässt.

### Die Handlung, die nicht mehr zurückzuholen ist

Eine Nachricht ist versendet, ein Datensatz überschrieben, eine Bestellung ausgelöst. Seit in den Vorhaben, die ich sehe, Systeme selbst handeln und nicht nur vorschlagen, begegnet mir dieses Muster öfter als früher.

### Der stille Qualitätsverlust

Ein Modell arbeitete zunächst gut und wurde schlechter, weil sich Daten, Prozess oder das zugrunde liegende Modell des Anbieters geändert haben. Niemand hat es bemerkt, weil niemand hinsieht. Teuer wird dieses Muster deshalb, weil es lange unentdeckt läuft.

Warum das fast nie ein Zufall ist

Wenn ich solche Fälle rückwärts aufrolle, finde ich fast immer dieselben Vorbedingungen.

Zwischen Ausgabe und Verwendung fehlte ein Prüfschritt, weil die Ausgabe überzeugend aussah. Welche Daten in welches Werkzeug dürfen, war nicht geregelt, also entschied das jeder für sich. Zuständig war für das System niemand, und so beobachtete auch niemand die Qualität. Protokolliert wurde nichts, weshalb sich der Vorgang hinterher nicht mehr rekonstruieren ließ.

Keine dieser Lücken verlangt für sich genommen ein Projekt. Dass sie trotzdem offen bleiben, liegt in den Häusern, die ich sehe, seltener am Geld als daran, dass niemand die Zuständigkeit dafür hat.

Die Frühzeichen

Bevor es soweit kommt, fallen mir im Betrieb meist dieselben Muster auf:

• Mitarbeitende nennen Werkzeuge, die in keiner Beschaffung auftauchen.
• Auf die Frage, wer ein bestimmtes System verantwortet, kommt der Name der Person, die es eingerichtet hat, nicht der Name einer verantwortlichen Stelle.
• Es gibt keinen dokumentierten Fall, in dem eine Ausgabe zurückgewiesen wurde. Ein System, das nie widersprochen wird, wird nicht geprüft.
• Die Ergebnisqualität wird nach Gefühl beurteilt, weil kein Ausgangswert existiert.
• Für unumkehrbare Handlungen gibt es keine gesonderte Freigabe.

Wer mehrere dieser Punkte wiedererkennt, hat deswegen keinen Schadensfall, aber die Voraussetzungen dafür. Das ist ein erster Prüfrahmen, mehr nicht.

Was die Rechtslage dazu sagt

Die KI-Verordnung regelt Pflichten und Sanktionen. Welche Ansprüche nach einem Schaden im Einzelfall bestehen, richtet sich nicht allein nach ihr und gehört in eine rechtliche Prüfung. Was nach einem Vorfall in jedem Fall zählt, ist, was sich zum eingesetzten System belegen lässt: welche Regeln galten, wer zuständig war, welche Prüfschritte vorgesehen waren und ob sie eingehalten wurden.

Seit dem 29. Juli 2026 gehören Verstöße gegen die KI-Verordnung zum Anwendungsbereich des Hinweisgeberschutzgesetzes (Art. 2 KI-MIG, § 2 Abs. 1 Nr. 10 HinSchG). Geschützt ist, wer einen solchen Hinweis im beruflichen Zusammenhang, auf einem zulässigen Weg und mit hinreichendem Grund zur Wahrheitsannahme meldet (§ 33 HinSchG). Daneben führt die Bundesnetzagentur nach § 8 KI-MIG eine niedrigschwellige Beschwerdestelle, die auch Kunden und Wettbewerbern offensteht. Wer im Haus bereits eine interne Meldestelle hat, sollte deren Themenkatalog um die KI-Verordnung erweitern, sonst läuft der erste Hinweis am eigenen Kanal vorbei.

Der praktische Schluss daraus ist derselbe wie ohne jede Regulierung: Die Dokumentation, die im Schadensfall zählt, muss vorher entstehen. Danach ist sie wertlos.

Womit ein Haus anfangen kann

Am Anfang stehen ein paar Festlegungen. Eine Liste der eingesetzten Systeme mit je einer verantwortlichen Person. Eine Regel, welche Daten in welches Werkzeug dürfen. Ein Prüfschritt vor jeder Verwendung nach außen, bei Zahlen und Rechtsaussagen mit gesondertem Blick. Und eine gesonderte Freigabe für alles, was sich nicht zurücknehmen lässt. Wie schnell das steht, hängt an der Systemlandschaft, den Freigabewegen und daran, wer im Haus überhaupt zuständig gemacht werden kann.

Darin unterscheiden sich die Häuser, in denen ein Fehler auffällt, von denen, in denen er wirkt.

Wie die Bestandsaufnahme dafür abläuft, steht im Beitrag zur KI-Inventur, die Regelseite im Beitrag zur KI-Richtlinie. Vorlagen und Bewertungsraster liefert das KI-Governance Starter-Kit.

Zum Schluss eine Frage, die sich ohne Vorbereitung beantworten lässt: Wenn morgen ein Kunde eine Auskunft aus Ihrem Haus anzweifelt und sie von einem KI-System stammt, welche Unterlagen könnten Sie zum System, zum Prüfschritt und zur konkreten Auskunft vorlegen?

---

Rechtsstand: 22. September 2026. Wo sich die Rechtslage danach ändert, wird der Beitrag nachgeführt oder die Änderung gekennzeichnet.