Lokale KI oder Cloud: Wann lohnt sich welcher Betrieb?

Welche Betriebsform zu den Aufgaben eines Unternehmens passt und was Leistung, Betreuung und Datenschutz damit zu tun haben.

Ob lokale KI oder eine Cloud-API besser passt, entscheidet der konkrete Anwendungsfall. Lokal übernimmt das Unternehmen Hardware, Zugänge, Updates und Störungen selbst; bei einer Cloud-API betreibt der Anbieter das Modell, die eigene Anwendung bleibt dennoch zu betreuen. Zur Kostenrechnung gehören Modellqualität und menschliche Nacharbeit, nicht nur Server oder Token. Eigene Hardware allein macht die Verarbeitung personenbezogener Daten nicht DSGVO-konform.

Wer sieht, wie KI Dokumente auswertet, Anfragen vorbereitet oder Routineaufgaben übernimmt, möchte solche Möglichkeiten auch im eigenen Unternehmen nutzen. Sobald daraus ein konkreter Plan wird, stellt sich die Frage: Soll das Modell auf eigener Hardware laufen oder als Cloud-Dienst genutzt werden?

Dabei sind zwei Aufgaben zu unterscheiden: Ein Sprachmodell bereitzustellen und zuverlässig zu betreiben, ist eine IT-Aufgabe. Damit einen Geschäftsprozess zu verbessern, ist eine weitere Ebene - ein eigener Server ist noch keine Prozessoptimierung. Unsere Arbeit setzt bei den Prozessen an: Welche Aufgabe soll einfacher werden, welche Qualität brauchen die Ergebnisse und wer arbeitet anschließend damit? Dafür nutzen wir Cloudmodelle über eine API, also eine Schnittstelle, über die unsere Anwendungen das Modell ansprechen. Technisch ist diese Arbeitsweise nicht an die Cloud gebunden - ein lokales Modell mit einer solchen Schnittstelle lässt sich genauso ansprechen. Entscheidend ist, dass das Modell die Aufgabe zuverlässig erfüllt und jemand den Betrieb verantwortet.

Welchen Anbietern ein Unternehmen dabei vertraut und wie viel Kontrolle es braucht, entscheidet es selbst - wir arbeiten innerhalb dieses Rahmens. Unser Beitrag ist, Geschäftsprozesse zu verbessern und die Wirtschaftlichkeit der Anwendung zu beurteilen.

Was gehört zum Betrieb einer lokalen KI?

Ein Modell auf einem vorhandenen Server auszuprobieren, kann überschaubar sein. Sollen sich mehrere Mitarbeiter im Arbeitsalltag darauf verlassen, kommen weitere Aufgaben hinzu: Zugänge verwalten, Updates prüfen, Störungen beheben und genügend Kapazität für gleichzeitige Anfragen bereitstellen. Diese Arbeit kann die eigene IT oder ein Dienstleister übernehmen. Sie gehört in die Kostenrechnung, auch wenn dafür keine zusätzliche Stelle geschaffen wird. Ausschlaggebend ist deshalb, welche Infrastruktur und welches Wissen bereits vorhanden sind und was erst aufgebaut oder eingekauft werden muss.

Was übernimmt der Cloudanbieter?

Bei einer verwalteten Modell-API kümmert sich der Anbieter um die Infrastruktur, auf der das Modell läuft. Eigene Hardware muss dafür weder beschafft noch gewartet werden. Die Anwendung braucht trotzdem Betreuung: Zugriffsrechte festlegen, Verbrauch überwachen, Fehler behandeln und Ergebnisse prüfen. Auch ein Modellwechsel kann Anpassungen an einer Anwendung erfordern. Mit Schulung und dokumentierten Abläufen können geeignete Mitarbeiter diese Betreuung übernehmen. Ein Teil der Betriebsaufgaben liegt damit beim Anbieter. Die Verantwortung für den Einsatz der KI bleibt beim Unternehmen.

Welche Leistung muss das Modell liefern?

Ein sinnvoller Vergleich beginnt mit konkreten Aufgaben aus dem Unternehmen. Liefert das Modell ausreichend verlässliche Ergebnisse? Wie viel müssen Mitarbeiter nacharbeiten, und wie lange dürfen sie auf eine Antwort warten? Dabei sind zwanzig Mitarbeiter, die gelegentlich eine Anfrage stellen, etwas anderes als zwanzig gleichzeitig laufende Coding-Agenten. Für den Vergleich braucht es deshalb neben der Ergebnisqualität auch ein realistisches Bild der Nutzung. Erst wenn beide Lösungen diese Anforderungen erfüllen, lässt sich beurteilen, welche wirtschaftlicher ist.

Was kostet lokale KI im Vergleich zur Cloud?

Im vorherigen Artikel zur Entwicklung der API-Tokenpreise ging es um die Preise der Modellnutzung. Für die Entscheidung zwischen lokaler KI und Cloud zählt die vollständige Kostenrechnung.

Bei eigener Hardware gehören Anschaffung, Einrichtung, Strom und laufende Betreuung in die Rechnung. Der Kaufpreis wird dafür auf die geplante Nutzungsdauer verteilt. Auch ein bereits vorhandener Server ist nicht kostenlos - Nutzung und Betreuung bleiben. Bei einer Cloud-API fallen verbrauchsabhängige Gebühren an. Hinzu kommen auf beiden Seiten die Kosten für Anbindung, Überwachung und Pflege der Anwendung.

Ein achtstündiger Arbeitstag bedeutet zudem keine acht Stunden Vollauslastung: Bei wenigen Anfragen verteilen sich die festen Serverkosten auf wenige Aufgaben, bei regelmäßiger hoher Nutzung sinkt der Anteil je Aufgabe. Bei einer nutzungsabhängigen Cloud-API bezahlt man keine eigene ungenutzte Modellkapazität; dafür bleibt man an die Preise und Kapazitätsgrenzen des Anbieters gebunden.

Warum die Ergebnisqualität zur Kostenrechnung gehört

Anspruchsvollere Aufgaben zeigen den Unterschied: Ein Modell soll mehrere Dokumente zusammen auswerten, Widersprüche erkennen und eine Entscheidungsvorlage mit nachvollziehbaren Fundstellen erstellen. Ein Mitarbeiter prüft das Ergebnis und trifft die Entscheidung.

Ein Kostenvergleich muss deshalb die Nacharbeit einrechnen. Ein lokales Modell kann dabei durchaus wirtschaftlich sein, wenn es die Aufgabe ausreichend gut erfüllt und die vorhandene Infrastruktur dafür ausreicht. Maßstab sind die Kosten je geprüftem, brauchbarem Ergebnis.

Was eine Minute Nacharbeit kostet

Wie stark die Ergebnisqualität die Wirtschaftlichkeit beeinflusst, zeigt eine einfache Rechnung: Bei angenommenen Arbeitskosten von 60 € pro Stunde kostet jede zusätzliche Minute Prüfung oder Korrektur einen Euro. Fallen bei 1.000 Vorgängen jeweils fünf Minuten zusätzliche Nacharbeit an, entstehen dadurch Kosten von 5.000 €.

Warum wir darauf achten, zeigt unser Praxistest mit synthetischen Payroll-Fällen. Für diesen Test haben wir vier Modelle genutzt, die uns damals zur Verfügung standen; Qwen3 235B war darunter das einzige offene, selbst betreibbare Modell. In einem Stand von Mitte 2025 gab es bei 60 Prüfungen sauberer Fälle - zwölf Fälle, je fünfmal geprüft - nur zwei frei, Claude Opus 4.6 dagegen 55; für unsere Prüfaufgabe ein enttäuschendes Ergebnis. Beide Modelle liefen in diesem Test über Cloud-Dienste. Der Unterschied lag damit in den eingesetzten Modellen und ihrer Konfiguration, nicht im Serverstandort. Der Test beschreibt diesen Modellstand und diese Konfiguration; über neuere offene Modelle sagt er nichts aus. Der Test veranschaulicht ein fundamentales Prinzip: Die reinen Modellkosten pro Aufruf sind bedeutungslos, wenn die Qualität nicht stimmt und teure Arbeitszeit in die Nachprüfung fließt.

Wann ist lokale KI sinnvoll?

Lokaler Betrieb kommt besonders dann infrage, wenn eine Anwendung ohne Internetverbindung funktionieren muss oder festgelegt ist, dass die Daten innerhalb der eigenen Infrastruktur verarbeitet werden. Auch vorhandene Hardware, erfahrene Betreuung und eine gleichmäßig hohe Auslastung können dafür sprechen.

Welche Kontrolle ermöglicht eigene Hardware?

Eigene Hardware gibt mehr Kontrolle: über den Speicherort der Daten, die Auswahl selbst betreibbarer Modelle und den Betrieb ohne Internetverbindung.

Lokale KI wird oft als „souverän“ verkauft. Wenn ein Unternehmen jedoch für jedes Update, jede Störung und jeden Modellwechsel denselben Dienstleister braucht, weil es selbst nichts davon übernehmen kann, bleibt es im Betrieb von ihm abhängig. Der Server steht dann im eigenen Haus. Wirkliche Souveränität ist das nicht.

Zur Entscheidung gehören deshalb auch die Wechselmöglichkeiten: Lassen sich Daten und Anwendungen übertragen? Sind Zugänge und Abläufe dokumentiert? Wer kann den Betrieb übernehmen? Ein Unternehmen kann mehr Kontrolle bewusst höher gewichten als den zusätzlichen Aufwand. Das ist eine nachvollziehbare Entscheidung, wenn Kosten und Zuständigkeiten geklärt sind.

Ist lokale KI automatisch DSGVO-konform?

Der Betrieb im eigenen Haus macht eine KI-Anwendung nicht automatisch DSGVO-konform. Der Serverstandort beantwortet noch nicht, ob das Unternehmen bestimmte personenbezogene Daten für den vorgesehenen Zweck verarbeiten darf. Auch lokal braucht es eine passende Rechtsgrundlage, geregelte Zugriffe und die Möglichkeit, Betroffenenrechte wie Auskunft und Löschung zu erfüllen.^[1]

Lokaler Betrieb kann Datenschutz erleichtern, wenn Daten in einer kontrollierten Umgebung bleiben und keine externen Dienste eingebunden sind. Drei Fragen entfallen dann tatsächlich: die Übermittlung in Drittstaaten, der Auftragsverarbeitungsvertrag mit dem Modellanbieter und die Frage, ob ein Anbieter Eingaben zum Training verwendet. Die Datenschutzkonferenz, das Gremium der deutschen Datenschutzaufsichtsbehörden, bezeichnet technisch geschlossene Systeme als „aus datenschutzrechtlicher Sicht vorzugswürdig“. Eine automatische DSGVO-Konformität folgt daraus nicht. Entscheidend bleibt, welche Daten die Anwendung verarbeitet, wofür sie diese verwendet und wie sie geschützt werden.^[2]

Auch bei Cloudmodellen reicht der Serverstandort als Antwort nicht aus. Ein Rechenzentrum in der EU ersetzt weder die Prüfung der konkreten Verarbeitung noch die erforderlichen Vereinbarungen mit dem Anbieter. Zu klären ist unter anderem, wer auf die Daten zugreifen kann, ob sie für Training verwendet werden, wie lange sie gespeichert bleiben, ob Übermittlungen in Drittstaaten stattfinden und ob Behörden im Herkunftsland des Anbieters Zugriff verlangen können. Diese Fragen gehören vor der Einführung geklärt. Maßgeblich sind die konkrete Verarbeitung und die vereinbarten Schutzmaßnahmen.^[1]

Wir halten eine nüchterne Bewertung für sinnvoll: Welche Daten sind betroffen, welche konkreten Risiken bestehen und welche Schutzmaßnahmen greifen? Dazu gehört auch ein Blick auf die Cloud-Dienste, die im Unternehmen bereits selbstverständlich genutzt werden. Für neue KI-Anwendungen sollte derselbe nachvollziehbare Maßstab gelten.

Wie treffen Unternehmen die Entscheidung?

Am Anfang stehen konkrete Aufgaben und die Anforderungen an Ergebnisse, Datenschutz und Verfügbarkeit. Danach lässt sich prüfen, welche Modelle dafür geeignet sind und wie sie bereitgestellt werden können.

Wenn wir neu beginnen, bevorzugen wir eine verwaltete Cloud-API, sofern sie diese Anforderungen erfüllt. So können wir uns auf den Geschäftsprozess konzentrieren. Eine eigene lokale Modellumgebung aufzubauen und verlässlich zu betreiben, ist ein zusätzliches IT-Vorhaben. Die dafür benötigte Zeit und die laufende Betreuung gehören von Anfang an in die Planung und in den Kostenvergleich.

Konkrete Anforderungen können den lokalen Betrieb notwendig machen. Muss eine Kanzlei beispielsweise sicherstellen, dass bestimmte Mandatsdaten ausschließlich innerhalb ihrer eigenen Infrastruktur verarbeitet werden, ist das eine Voraussetzung für die Lösung. Dann gehört der Aufwand für den lokalen Betrieb zur Umsetzung.

Wir bevorzugen Cloud, wenn sie die Anforderungen erfüllt. Lokalen Betrieb planen wir dort ein, wo er erforderlich ist oder einen begründeten Vorteil bietet.

In der KI-Standortbestimmung prüfen wir je Anwendungsfall Datenlage, Betriebsaufwand, Nutzen und Risiken der möglichen Bereitstellung.

Weiterlesen im Maschinenraum

• KI-Tokenpreise: Was wird günstiger und was kann teurer werden?
• Wie zuverlässig prüft KI Lohnabrechnungen? Vier Modelle im Test
• Workflow-Automatisierung: Fünf Fragen vor dem Betrieb