Die Frage, ob KI im eigenen Haus laufen sollte, wird in den Gesprächen, die ich führe, oft als Grundsatzfrage gestellt. Die einen sprechen von Souveränität und wollen nichts außer Haus geben, die anderen halten eigene Server für einen Rückschritt in die Zeit vor der Cloud. Beide Haltungen sind verständlich, und beide helfen bei der konkreten Entscheidung wenig, weil sie für jede Anwendung anders ausfällt.

Praktisch kauft man KI als Dienst ein, als Arbeitsplatzlizenz oder über eine Schnittstelle, die nach Verbrauch abrechnet. Oder man mietet Rechenleistung, auf der ein frei verfügbares Modell läuft, etwa bei einem Rechenzentrum in der EU. Oder man betreibt das Modell auf eigener Hardware im eigenen Haus.

Ein Beispiel aus dem eigenen Betrieb

Ich nutze selbst alle drei Wege, und an der Aufteilung lässt sich die Logik gut zeigen.

Meine eingehenden Newsletter und Fachinformationen sortiert jeden Morgen ein kleines Sprachmodell vor, das auf meinem Arbeitsrechner läuft, mit einer handelsüblichen Grafikkarte. Die Aufgabe ist eng umrissen, sie fällt täglich an, und ein kleines Modell erledigt sie ausreichend gut. Noch deutlicher liegt der Fall bei meiner privaten Post, die ich über mehrere Jahre eingescannt habe und auswerten lasse. Diese Dokumente verlassen den Rechner grundsätzlich nicht, deshalb kommt dort nur ein lokales Modell in Frage, auch wenn ein großes Modell im Netz manche Felder zuverlässiger erkennen würde.

Für Texte, Analysen und Programmcode nutze ich dagegen die großen Modelle der Anbieter. Dort zählt die Qualität, die Menge ist überschaubar, und die Inhalte sind nicht so vertraulich, dass sie das Haus nicht verlassen dürften.

Die Aufteilung folgt also keiner Überzeugung, sondern den Daten, der Häufigkeit und der Frage, wie gut das Ergebnis sein muss.

Wann sich der eigene Betrieb rechnet

Ein lokal betriebenes Modell ist nicht automatisch günstiger. Zur Hardware kommen Strom, Wartung und die Zeit von jemandem, der das System aktuell hält, und die Antworten kommen auf bezahlbarer Hardware meist langsamer als von einem großen Anbieter. Für gelegentliche Nutzung rechne ich deshalb zuerst mit einem gemieteten Dienst.

Der eigene Betrieb lohnt sich nach meiner Erfahrung, wenn mehrere Bedingungen zusammenkommen. Die Aufgabe fällt regelmäßig und in großer Menge an, sodass Verbrauchskosten über das Jahr spürbar würden. Sie ist so eng umrissen, dass ein kleineres Modell sie zuverlässig erledigt. Und die Daten sind so vertraulich, dass eine Verarbeitung außer Haus einen Aufwand an Verträgen und Prüfungen auslösen würde, der für sich schon teuer ist.

Die vierte Bedingung wird am häufigsten übersehen: Es muss jemanden geben, der das System betreibt. Ein Modell meldet keinen Fehler, wenn es unbrauchbare Eingaben bekommt, und wer selbst betreibt, muss selbst danach suchen. In meiner eigenen Dokumentenauswertung sind einige hundert Scans ohne lesbaren Text beim Modell angekommen, und weil das Ausgabeformat einen Dokumenttyp verlangte, hat das Modell ihn in über dreihundert Fällen erfunden. Diese Belege galten danach als ausgewertet und wären ohne Nachkontrolle nie wieder angefasst worden. Wer lokal betreibt, braucht solche Kontrollen, und jemand muss sie machen.

Mieten als Mittelweg

Zwischen Einkauf und eigenem Betrieb liegt die gemietete Rechenleistung. Ein frei verfügbares Modell läuft dabei auf Servern eines Anbieters, häufig mit vertraglich festgelegtem Standort und ohne dass die Daten zum Training weiterverwendet werden. Das verbindet einen Teil der Kontrolle über Modell und Daten mit dem Vorteil, keine eigene Hardware anschaffen und pflegen zu müssen.

Für viele mittelständische Anwendungen halte ich das für den vernünftigsten Einstieg, gerade wenn noch nicht absehbar ist, wie stark eine Anwendung genutzt wird. Wer später feststellt, dass die Menge groß und stabil ist, kann immer noch auf eigene Hardware wechseln, und wer merkt, dass die Qualität nicht reicht, auf ein größeres Modell.

Wechselfähig bleiben

McKinsey formuliert in einem Beitrag vom Juli 2026, die alte Frage „kaufen oder selbst bauen” greife bei KI nicht mehr. Es gehe um die beste Mischung aus Kaufen, Bauen, Betreiben, Weiterleiten und Wechseln, für jede Anwendung neu bewertet (McKinsey, „The cost of intelligence”, 20.07.2026). Das deckt sich mit dem, was ich im eigenen Betrieb erlebe: Das Modell, das die Vorsortierung heute erledigt, ist nicht das, mit dem sie angefangen hat, und der Wechsel war vergleichsweise unaufwendig, weil die Anwendung nicht an ein bestimmtes Modell gebunden war und sich die Ergebnisse danach gegen die alten prüfen ließen.

Für eine Geschäftsführung folgt daraus eine Anforderung an jedes KI-Vorhaben, unabhängig vom gewählten Weg: Ließe sich das Modell austauschen, ohne die Anwendung neu zu bauen? Wie sich die laufenden Kosten der verschiedenen Wege zusammensetzen, beschreibt der Beitrag zu den KI-Kosten.

Die Fragen vor der Entscheidung

Für jede Anwendung, die zur Entscheidung ansteht, lohnen dieselben Fragen. Wie vertraulich sind die Daten, die das Modell sieht? Wie oft und in welcher Menge wird es arbeiten? Reicht für die Aufgabe ein kleineres Modell, und wer hat das geprüft? Und wer im Haus kümmert sich um den Betrieb, wenn die Wahl auf eigene Hardware fällt?

Wer diese Fragen für seine wichtigsten Anwendungen beantwortet, wird meist feststellen, dass es nicht einen Weg für das ganze Haus gibt, sondern zwei oder drei nebeneinander. Die Übersicht darüber, welche Anwendung auf welchem Weg läuft, gehört in die KI-Roadmap.