Ein KI-Vorhaben läuft seit einigen Wochen, und die Ergebnisse sind schlechter als erhofft. In der nächsten Runde liegt dann oft der Vorschlag auf dem Tisch, ein anderes Modell zu versuchen, einen anderen Anbieter oder die nächste Version abzuwarten. In den Vorhaben, die ich begleite, lag die Ursache in solchen Fällen selten beim Modell.

Ich habe das in diesem Sommer auch im Kleinen erlebt, bei einem eigenen Versuch, mit einem Bildmodell Profilfotos von mir zu erzeugen. Mehrere Anläufe gingen daneben, und die Gründe lagen bei den Einstellungen, bei einer Kennzahl, die gut aussah und nichts aussagte, und vor allem beim Bildmaterial. Gelöst hat es am Ende kein anderes Modell, sondern ein Termin beim Fotografen, dessen Aufnahmen das Material lieferten, das die Aufgabe brauchte.

Für ein Unternehmen ist die Frage dieselbe, nur teurer: In welcher Reihenfolge sucht man die Ursache, bevor man Geld für einen Wechsel ausgibt?

Zuerst die Messgröße

Die erste Frage ist, woran überhaupt festgestellt wurde, dass die Ergebnisse schlecht sind, oder umgekehrt, dass sie gut sind. In den Unternehmen, die ich begleite, wird der Erfolg von KI-Anwendungen häufig an Zahlen gemessen, die leicht zu erheben sind: wie viele Beschäftigte das Werkzeug nutzen, wie viele Anfragen gestellt werden, wie zufrieden die Nutzer in einer Umfrage sind. Diese Zahlen können steigen, während die Qualität der Ergebnisse gleich bleibt.

Ob eine Anwendung funktioniert, zeigt sich an den Ergebnissen selbst. Jemand aus dem Fachbereich muss eine Stichprobe ansehen und beurteilen, regelmäßig und nach festen Kriterien. Solange das niemand getan hat, ist unklar, ob das Problem überhaupt besteht und wo es liegt. Wie eine Messgröße aussieht, die tatsächlich etwas aussagt, beschreibt der Beitrag zum KI-ROI.

Dann die Daten

Die zweite Frage betrifft das Material, mit dem die Anwendung arbeitet. Daten können vollständig und formal in Ordnung sein und trotzdem für die Aufgabe nicht taugen. Eine Auftragshistorie, in der die Artikelnummern zweimal umgestellt wurden, oder Servicetickets, in denen dasselbe Problem unter fünf verschiedenen Bezeichnungen steht, sehen in einer Tabelle ordentlich aus. Für ein Modell, das daraus Muster erkennen soll, sind sie es nicht.

Ob die Daten taugen, lässt sich nur gemeinsam beurteilen. IT und Anbieter können prüfen, woher die Daten kommen und ob sie technisch zur Anwendung passen. Was ein Feld tatsächlich bedeutet und warum es sich vor drei Jahren geändert hat, weiß aber meist nur die Sachbearbeitung, die die Daten seit Jahren pflegt. Deren Zeit gehört deshalb in jede Ursachensuche, auch wenn sie knapp ist.

Die Beschreibung der Beispiele

Wo ein Modell aus Beispielen lernen oder an Beispielen ausgerichtet werden soll, hängt viel daran, wie diese Beispiele beschrieben sind. Wer Reklamationen nach Ursachen sortieren lassen will, braucht Fälle, bei denen die Ursache richtig und einheitlich eingetragen ist. Wenn drei Sachbearbeiter dieselbe Ursache unterschiedlich benennen, lernt das Modell die Unterschiede zwischen den Sachbearbeitern.

In den Projekten, die ich kenne, wird an dieser Stelle oft gespart, weil die Arbeit mühsam ist und sich schlecht vorzeigen lässt. Ein Anbieter kann sie vorbereiten und mit Werkzeugen unterstützen, aber ob eine Beschreibung fachlich stimmt, kann nur das eigene Haus entscheiden.

Die Einstellungen

Erst danach lohnt der Blick auf die Einstellungen: die Anweisungen, mit denen das Modell arbeitet, die Schwellen, ab denen es etwas meldet, die Auswahl der Unterlagen, die es zu sehen bekommt. Nach meiner Erfahrung werden sie häufig aus einer Vorführung oder aus dem Projekt eines anderen Hauses übernommen, ohne dass jemand fragt, ob sie zum eigenen Fall passen.

Diese Prüfung ist oft günstiger als ein Wechsel, auch wenn es sich lohnt, den Aufwand im Einzelfall zu vergleichen, einschließlich der Zeit des Fachbereichs für einen belastbaren Test. Sie setzt aber voraus, dass die Messgröße steht, sonst lässt sich nicht erkennen, ob eine geänderte Einstellung etwas verbessert hat.

Wann ein Wechsel richtig ist

Ein Modellwechsel kann die richtige Entscheidung sein, etwa wenn die Aufgabe Fähigkeiten verlangt, die das gewählte Modell nicht hat, oder wenn ein kleineres und günstigeres Modell dasselbe leisten würde. Er ist aber erst dann eine Entscheidung, wenn die Fragen davor beantwortet sind. Sonst wiederholt das neue Modell die Fehler des alten mit mehr Aufwand, und niemand kann sagen, ob es besser ist.

Wer wechselt, sollte das alte und das neue Modell deshalb mit denselben Daten und an derselben Messgröße vergleichen. Welche Ausfallmuster KI-Vorhaben darüber hinaus haben, beschreibt der Beitrag Woran KI-Projekte scheitern.

Die Fragen vor dem Wechsel

Liegt bei Ihnen gerade der Vorschlag auf dem Tisch, Modell oder Anbieter zu wechseln, lohnen vorher diese Fragen: Hat jemand aus dem Fachbereich die Ergebnisse selbst angesehen, oder gibt es nur eine Nutzungszahl? Wer kann erklären, wie die Daten entstanden sind? Sind die Beispiele einheitlich beschrieben? Und stammen die Einstellungen aus dem eigenen Fall oder aus einer Vorführung?