Lokale KI oder Cloud: Kosten, Betrieb und Datenschutz im Vergleich

Welche Betriebsform zu den Aufgaben eines Unternehmens passt und was Leistung, Betreuung und Datenschutz damit zu tun haben.

Wer sieht, wie KI Dokumente auswertet, Anfragen vorbereitet oder Routineaufgaben übernimmt, möchte solche Möglichkeiten auch im eigenen Unternehmen nutzen. Sobald daraus ein konkreter Plan wird, stellt sich die Frage: Soll das Modell auf eigener Hardware laufen oder als Cloud-Dienst genutzt werden?

Jedes Unternehmen muss selbst einschätzen, welchen Anbietern es vertraut, welche Abhängigkeiten es akzeptiert und wie viel Kontrolle es benötigt. Gesetzliche und vertragliche Vorgaben sind dabei einzuhalten. Wir respektieren diese Entscheidung und arbeiten innerhalb dieses Rahmens. Unser Beitrag ist, Geschäftsprozesse zu verbessern und die Wirtschaftlichkeit der Anwendung zu beurteilen.

Dabei sind zwei Aufgaben zu unterscheiden. Ein Sprachmodell bereitzustellen und zuverlässig zu betreiben, ist eine IT-Aufgabe. Damit einen Geschäftsprozess zu verbessern, ist eine weitere Ebene. Wer zunächst eine lokale KI-Umgebung aufbaut, schafft die technische Voraussetzung. Ein eigener Server ist noch keine Prozessoptimierung. Ob dadurch Arbeit entfällt, Fehler zurückgehen oder Durchlaufzeiten sinken, entscheidet sich erst in der Anwendung.

Unsere Arbeit setzt bei den Prozessen an: Welche Aufgabe soll einfacher werden, welche Qualität brauchen die Ergebnisse und wer arbeitet anschließend damit? Dafür nutzen wir Cloudmodelle über eine API, also eine Schnittstelle, über die unsere Anwendungen das Modell ansprechen. Stellt ein Unternehmen ein geeignetes lokales Modell mit einer solchen Schnittstelle bereit, können wir ebenso darauf aufbauen. Entscheidend ist, dass es die Aufgabe zuverlässig erfüllt und jemand den Betrieb verantwortet.

Was gehört zum Betrieb einer lokalen KI?

Ein Modell auf einem vorhandenen Server auszuprobieren, kann überschaubar sein. Sollen sich mehrere Mitarbeiter im Arbeitsalltag darauf verlassen, kommen weitere Aufgaben hinzu: Zugänge verwalten, Updates prüfen, Störungen beheben und genügend Kapazität für gleichzeitige Anfragen bereitstellen. Diese Arbeit kann die eigene IT oder ein Dienstleister übernehmen. Sie gehört in die Kostenrechnung, auch wenn dafür keine zusätzliche Stelle geschaffen wird. Entscheidend ist deshalb, welche Infrastruktur und welches Wissen bereits vorhanden sind und was erst aufgebaut oder eingekauft werden muss.

Was übernimmt der Cloudanbieter?

Bei einer verwalteten Modell-API kümmert sich der Anbieter um die Infrastruktur, auf der das Modell läuft. Eigene Hardware muss dafür weder beschafft noch gewartet werden. Die Anwendung braucht trotzdem Betreuung: Zugriffsrechte festlegen, Verbrauch überwachen, Fehler behandeln und Ergebnisse prüfen. Auch ein Modellwechsel kann Anpassungen an einer Anwendung erfordern. Ein Teil der Betriebsaufgaben liegt damit beim Anbieter. Die Verantwortung für den Einsatz der KI bleibt beim Unternehmen.

Welche Leistung muss das Modell liefern?

Ein sinnvoller Vergleich beginnt mit konkreten Aufgaben aus dem Unternehmen. Liefert das Modell ausreichend verlässliche Ergebnisse? Wie viel müssen Mitarbeiter nacharbeiten, und wie lange dürfen sie auf eine Antwort warten? Dabei sind zwanzig Mitarbeiter, die gelegentlich eine Anfrage stellen, etwas anderes als zwanzig gleichzeitig laufende Coding-Agenten. Für den Vergleich braucht es deshalb neben der Ergebnisqualität auch ein realistisches Bild der Nutzung. Erst wenn beide Lösungen diese Anforderungen erfüllen, lässt sich beurteilen, welche wirtschaftlicher ist.

Was kostet lokale KI im Vergleich zur Cloud?

Im vorherigen Artikel zur Entwicklung der API-Tokenpreise ging es um die Preise der Modellnutzung. Für die Entscheidung zwischen lokaler KI und Cloud zählt die vollständige Kostenrechnung.

Bei eigener Hardware gehören Anschaffung, Einrichtung, Strom und laufende Betreuung in die Rechnung. Der Kaufpreis wird dafür auf die geplante Nutzungsdauer verteilt. Ist bereits ein geeigneter Server vorhanden, entfällt möglicherweise eine Neuanschaffung. Seine Nutzung und Betreuung sind dadurch aber nicht kostenlos. Bei einer Cloud-API fallen verbrauchsabhängige Gebühren an. Hinzu kommen auf beiden Seiten die Kosten für Anbindung, Überwachung und Pflege der Anwendung. Für einen fairen Kostenvergleich müssen Zeitraum, Aufgaben und geforderte Ergebnisqualität übereinstimmen.

Wie stark wird die Hardware tatsächlich genutzt?

Ein achtstündiger Arbeitstag bedeutet keine acht Stunden Vollauslastung. Treffen nur gelegentlich Anfragen ein, verteilen sich die festen Kosten des Servers auf wenige Aufgaben. Bei regelmäßiger, hoher Nutzung sinkt dieser Kostenanteil je Aufgabe. Gleichzeitig muss die Hardware auch die Zeiten bewältigen, in denen mehrere Mitarbeiter oder Workflows gleichzeitig Leistung benötigen. Wer nur mit dem theoretisch maximalen Durchsatz rechnet, unterschätzt die tatsächlichen Kosten. Bei einer nutzungsabhängigen Cloud-API bezahlt man keine eigene ungenutzte Modellkapazität; dafür bleibt man an die Preise und Kapazitätsgrenzen des Anbieters gebunden.

Warum die Ergebnisqualität zur Kostenrechnung gehört

Für unsere Arbeit zählt, ob ein Modell auch anspruchsvollere Aufgaben zuverlässig unterstützt. Beispielsweise soll es mehrere Dokumente zusammen auswerten, Widersprüche erkennen und eine Entscheidungsvorlage mit nachvollziehbaren Fundstellen erstellen. Ein Mitarbeiter prüft das Ergebnis und trifft die Entscheidung.

Ein Kostenvergleich muss deshalb auch berücksichtigen, wie viel Nacharbeit die Ergebnisse erfordern. Eine günstigere Modellanfrage kann insgesamt teurer sein, wenn Mitarbeiter anschließend länger prüfen und korrigieren müssen. Umgekehrt kann ein lokales Modell wirtschaftlich sein, wenn es die Aufgabe ausreichend gut erfüllt und die vorhandene Infrastruktur dafür ausreicht. Entscheidend sind deshalb die Kosten je geprüftem, brauchbarem Ergebnis.

Was eine Minute Nacharbeit kostet

Wie stark die Ergebnisqualität die Wirtschaftlichkeit beeinflusst, zeigt eine einfache Rechnung: Bei angenommenen Arbeitskosten von 60 € pro Stunde kostet jede zusätzliche Minute Prüfung oder Korrektur einen Euro. Fallen bei 1.000 Vorgängen jeweils fünf Minuten zusätzliche Nacharbeit an, entstehen dadurch Kosten von 5.000 €.

Warum wir darauf achten, zeigt unser Praxistest mit synthetischen Payroll-Fällen. Für diesen Test haben wir vier Modelle genutzt, die uns damals zur Verfügung standen. Qwen3 235B war darunter das einzige offene, selbst betreibbare Modell. Die Ergebnisse des getesteten Qwen-Modells waren für unsere Prüfaufgabe enttäuschend. In einem Stand von Mitte 2025 gab es bei 60 Prüfungen sauberer Fälle nur zwei frei, Claude Opus 4.6 dagegen 55. Dabei wurden zwölf saubere Fälle jeweils fünfmal geprüft. Beide Modelle liefen in diesem Test über Cloud-Dienste. Der Unterschied lag damit in den eingesetzten Modellen und ihrer Konfiguration, nicht im Serverstandort. Das beschreibt unsere Erfahrung mit diesem Modellstand und dieser Konfiguration. Über die Leistungsfähigkeit anderer oder neuerer offener Modelle sagt der Test nichts aus. Der Test veranschaulicht ein fundamentales Prinzip: Die reinen Modellkosten pro Aufruf sind bedeutungslos, wenn die Qualität nicht stimmt und teure Arbeitszeit in die Nachprüfung fließt.

Wann ist lokale KI sinnvoll?

Lokaler Betrieb kommt besonders dann infrage, wenn eine Anwendung ohne Internetverbindung funktionieren muss oder festgelegt ist, dass die Daten innerhalb der eigenen Infrastruktur verarbeitet werden. Auch vorhandene Hardware, erfahrene Betreuung und eine gleichmäßig hohe Auslastung können dafür sprechen. Voraussetzung bleibt, dass das Modell die vorgesehenen Aufgaben ausreichend gut und schnell erledigt. Steht eine solche Umgebung bereits zur Verfügung, können wir unsere Prozessarbeit darauf aufbauen. Muss sie erst entstehen, gehören Einrichtung und dauerhafte Betreuung als eigenes Vorhaben in die Planung.

Wer übernimmt die Verantwortung im Alltag?

Ob lokal oder Cloud: Die KI-Anwendung im Geschäftsprozess braucht Betreuung. Jemand muss Ergebnisse prüfen, den Ablauf bei Änderungen anpassen und den Mitarbeitern bei Fragen helfen. Mit Schulung und dokumentierten Abläufen können geeignete Mitarbeiter diese Aufgaben übernehmen.

Bei lokalem Betrieb kommt die Betreuung der Modellinfrastruktur hinzu. Dafür braucht es zusätzlich technisches Wissen und verfügbare Arbeitszeit, etwa für Updates, Zugriffsrechte und Störungen am Server. Bei einer verwalteten Cloud-API übernimmt der Anbieter diese Infrastrukturaufgaben. Wer lokal betreiben möchte, muss dafür eigene Ressourcen oder einen Dienstleister einplanen.

Welche Kontrolle ermöglicht eigene Hardware?

Eigene Hardware kann einem Unternehmen mehr Kontrolle über den Betrieb seiner KI geben. Dazu gehören der Speicherort der Daten, die Auswahl selbst betreibbarer Modelle und der Betrieb ohne Internetverbindung. Wie wichtig diese Möglichkeiten sind, hängt von den Anforderungen des Unternehmens ab. Um sie im Alltag zu nutzen, braucht es Wissen, Zeit und klare Zuständigkeiten.

Lokale KI wird oft als „souverän“ verkauft. Wenn ein Unternehmen jedoch für jedes Update, jede Störung und jeden Modellwechsel denselben Dienstleister braucht, weil es selbst nichts davon übernehmen kann, bleibt es im Betrieb von ihm abhängig. Der Server steht dann im eigenen Haus. Wirkliche Souveränität ist das nicht.

Zur Entscheidung gehören deshalb auch die Wechselmöglichkeiten: Lassen sich Daten und Anwendungen übertragen? Sind Zugänge und Abläufe dokumentiert? Wer kann den Betrieb übernehmen? Ein Unternehmen kann mehr Kontrolle bewusst höher gewichten als den zusätzlichen Aufwand. Das ist eine nachvollziehbare Entscheidung, wenn Kosten und Zuständigkeiten geklärt sind.

Ist lokale KI automatisch DSGVO-konform?

Der Betrieb im eigenen Haus macht eine KI-Anwendung nicht automatisch DSGVO-konform. Der Serverstandort beantwortet noch nicht, ob das Unternehmen bestimmte personenbezogene Daten für den vorgesehenen Zweck verarbeiten darf. Auch lokal braucht es eine passende Rechtsgrundlage, geregelte Zugriffe und die Möglichkeit, Betroffenenrechte wie Auskunft und Löschung zu erfüllen.^[1]

Lokaler Betrieb kann Datenschutz erleichtern, wenn Daten in einer kontrollierten Umgebung bleiben und keine externen Dienste eingebunden sind. Drei Fragen entfallen dann tatsächlich: die Übermittlung in Drittstaaten, der Auftragsverarbeitungsvertrag mit dem Modellanbieter und die Frage, ob ein Anbieter Eingaben zum Training verwendet. Die Datenschutzkonferenz, das Gremium der deutschen Datenschutzaufsichtsbehörden, bezeichnet technisch geschlossene Systeme als „aus datenschutzrechtlicher Sicht vorzugswürdig“. Eine automatische DSGVO-Konformität folgt daraus nicht. Entscheidend bleibt, welche Daten die Anwendung verarbeitet, wofür sie diese verwendet und wie sie geschützt werden.^[2]

Auch bei Cloudmodellen reicht der Serverstandort als Antwort nicht aus. Ein Rechenzentrum in der EU ersetzt weder die Prüfung der konkreten Verarbeitung noch die erforderlichen Vereinbarungen mit dem Anbieter. Zu klären ist unter anderem, wer auf die Daten zugreifen kann, ob sie für Training verwendet werden, wie lange sie gespeichert bleiben, ob Übermittlungen in Drittstaaten stattfinden und ob Behörden im Herkunftsland des Anbieters Zugriff verlangen können. Diese Fragen gehören vor der Einführung geklärt. Maßgeblich sind die konkrete Verarbeitung und die vereinbarten Schutzmaßnahmen.^[1]

Wir halten eine nüchterne Bewertung für sinnvoll: Welche Daten sind betroffen, welche konkreten Risiken bestehen und welche Schutzmaßnahmen greifen? Dazu gehört auch ein Blick auf die Cloud-Dienste, die im Unternehmen bereits selbstverständlich genutzt werden. Für neue KI-Anwendungen sollte derselbe nachvollziehbare Maßstab gelten.

Wie treffen Unternehmen die Entscheidung?

Am Anfang stehen konkrete Aufgaben und die Anforderungen an Ergebnisse, Datenschutz und Verfügbarkeit. Danach lässt sich prüfen, welche Modelle dafür geeignet sind und wie sie bereitgestellt werden können.

Wenn wir neu beginnen, bevorzugen wir eine verwaltete Cloud-API, sofern sie diese Anforderungen erfüllt. So können wir uns auf den Geschäftsprozess konzentrieren. Eine eigene lokale Modellumgebung aufzubauen und verlässlich zu betreiben, ist ein zusätzliches IT-Vorhaben. Die dafür benötigte Zeit und die laufende Betreuung gehören von Anfang an in die Planung und in den Kostenvergleich.

Konkrete Anforderungen können den lokalen Betrieb notwendig machen. Muss eine Kanzlei beispielsweise sicherstellen, dass bestimmte Mandatsdaten ausschließlich innerhalb ihrer eigenen Infrastruktur verarbeitet werden, ist das eine Voraussetzung für die Lösung. Dann gehört der Aufwand für den lokalen Betrieb zur Umsetzung. Steht bereits eine geeignete und betreute Umgebung bereit, können wir direkt darauf aufbauen.

Wir bevorzugen Cloud, wenn sie die Anforderungen erfüllt. Lokalen Betrieb planen wir dort ein, wo er erforderlich ist oder einen begründeten Vorteil bietet.