Cloud oder lokale KI? Datenschutz, Qualität und Kosten im Vergleich

Eine Steuerkanzlei in Regensburg möchte die Mandantenpost mit KI vorsortieren. Ein Großhändler in Kelheim möchte Bestellungen aus E-Mails auslesen. Beide stellen dieselbe Frage: Darf das in die Cloud, oder braucht es ein Sprachmodell auf dem eigenen Server? Die Antworten fallen unterschiedlich aus, denn sie hängen weniger von der Technik ab als von den Daten. Dieser Artikel zeigt die Möglichkeiten, ihre Stärken und Grenzen und eine einfache Regel für die Entscheidung.

Stand: Oktober 2026. Angebote, Modelle und Preise ändern sich schnell. Die Angaben stammen von den Seiten der Anbieter, die Quellen stehen am Ende.

Drei Wege im Überblick

Was „Verarbeitung in der EU“ wirklich bedeutet

Die großen Anbieter haben europäische Optionen geschaffen. Die Einzelheiten unterscheiden sich, und sie sind wichtig:

• OpenAI: Für die Schnittstelle lassen sich Projekte mit der Region Europa anlegen. Dann werden Daten im Europäischen Wirtschaftsraum und der Schweiz gespeichert und verarbeitet. Das setzt eine Freigabe durch den Vertrieb und eine Vereinbarung voraus, nach der Eingaben nicht oder nur eingeschränkt gespeichert werden. Systemdaten können laut OpenAI weiterhin außerhalb der Region verarbeitet werden, und für neuere Modelle gilt ein Aufschlag von zehn Prozent.
• Microsoft Azure: In Microsoft Foundry, wo auch die OpenAI-Modelle bei Azure bereitstehen, werden bei Bereitstellungen vom Typ „Data Zone“ Eingaben und Antworten nur innerhalb der EU-Datengrenze von Microsoft verarbeitet, zu der auch Norwegen und die Schweiz gehören können. Bereitstellungen vom Typ „Global“ dürfen dagegen in jedem Azure-Rechenzentrum der Welt rechnen.
• Amazon Bedrock: Die Claude-Modelle von Anthropic laufen aus Frankfurt heraus über ein EU-Profil, das Anfragen auf Rechenzentren in Frankfurt, Stockholm, Mailand, Spanien, Irland und Paris verteilt. Das globale Profil kann weltweit verteilen.

Daraus folgt eine einfache Regel: „EU“ heißt oft „irgendwo in der EU“, und die richtige Einstellung muss bewusst gewählt werden. Bei US-Anbietern kommt hinzu, dass sie US-Recht unterliegen. Datenübermittlungen in die USA stützen sich derzeit auf das EU-US Data Privacy Framework. Das Gericht der EU hat es im September 2025 bestätigt, ein Rechtsmittel dagegen ist beim Gerichtshof der EU anhängig. Was das für Ihre Verträge heißt, erklärt der Artikel KI und Datenschutz.

Anbieter mit Rechenzentrum in Deutschland

Mehrere deutsche Anbieter stellen offene Modelle über eine Schnittstelle bereit, die genauso funktioniert wie die von OpenAI. Für eine Automatisierung ist der Wechsel deshalb meist einfach.

• STACKIT, der Cloud-Anbieter der Schwarz Gruppe, bietet in seinen Regionen in Deutschland und Österreich unter anderem gpt-oss, Llama 3.3, Gemma 4 und Qwen an. Anfragen werden laut Anbieter weder gespeichert noch zum Training verwendet.
• IONOS betreibt seinen AI Model Hub in Berlin, mit Modellen wie gpt-oss, Llama 3.3, Mistral und Qwen. Eingaben und Antworten werden laut IONOS weder protokolliert noch gespeichert oder zum Training genutzt. Ein Beispielpreis: gpt-oss-120b kostet 0,15 Euro je Million Tokens Eingabe und 0,65 Euro je Million Tokens Ausgabe, zuzüglich Umsatzsteuer.
• Mistral ist ein französisches Unternehmen mit Sitz in Paris und seit September 2026 auch einem Standort in München. Es entwickelt eigene Modelle, viele davon mit offenen Gewichten.

Lokale Modelle: Was heute auf eigener Hardware läuft

Offene Modelle, Fachleute sagen Open-Weight-Modelle, lassen sich herunterladen und auf eigener Hardware betreiben. Einige Beispiele, alle unter der freien Lizenz Apache 2.0:

• gpt-oss von OpenAI, erschienen im August 2025: Die kleinere Variante gpt-oss-20b läuft mit 16 GB Speicher, die größere gpt-oss-120b passt auf eine einzelne Server-Grafikkarte mit 80 GB.
• Qwen3 von Alibaba in vielen Größen, von sehr kleinen Modellen bis zu großen Varianten. Einzelne neuere Spitzenmodelle der Reihe stehen allerdings nicht unter Apache 2.0.
• Ministral 3 von Mistral mit 3, 8 und 14 Milliarden Parametern, dazu ältere offene Modelle wie Mistral Small 3.2.
• Gemma 4 von Google, erschienen im März 2026. Das ältere Gemma 3 steht dagegen unter eigenen Nutzungsbedingungen von Google.

Die Lizenz verdient einen genauen Blick. Die Nutzungsrichtlinie von Meta für Llama schließt Unternehmen mit Hauptsitz in der EU von den Rechten an multimodalen Modellen aus, also Modellen, die auch Bilder verarbeiten. Dazu zählen die Llama-4-Modelle. Ausgenommen ist, wer ein fertiges Produkt nutzt, in dem ein solches Modell steckt, nicht aber, wer das Modell selbst betreibt. Prüfen Sie deshalb vor dem Einsatz, unter welcher Lizenz ein Modell steht und ob sie für Ihr Unternehmen gilt.

Zur Hardware: Kleine Modelle laufen auf einem guten Arbeitsplatzrechner mit leistungsfähiger Grafikkarte. Für mittelgroße Modelle braucht es viel schnellen Speicher. Ein Mac Studio beginnt bei 2.999 Euro mit 36 GB und lässt sich mit bis zu 256 GB ausstatten. NVIDIAs DGX Spark bringt 128 GB gemeinsamen Speicher mit und ist nach Herstellerangaben für Modelle bis rund 200 Milliarden Parameter ausgelegt. Für die größten offenen Modelle oder viele gleichzeitige Nutzer braucht es Server-Grafikkarten.

Qualität: Was offene Modelle leisten

Für viele Aufgaben im Büro reichen offene Modelle mittlerer Größe aus: E-Mails einordnen, Rechnungen und Bestellungen auslesen, Texte zusammenfassen, Fragen aus eigenen Dokumenten mit Quellenangabe beantworten. Bei schwierigen Aufgaben, etwa langen Verträgen, verschachtelten Rückfragen oder anspruchsvollen Entwürfen, sind die größten Cloud-Modelle meist noch besser.

Wie groß der Unterschied für Ihre Aufgabe ist, zeigt nur ein Test mit Ihren eigenen Dokumenten. Legen Sie dafür 30 bis 50 echte Fälle fest, bei denen Sie das richtige Ergebnis kennen, und lassen Sie beide Varianten daran arbeiten.

Kosten: Verbrauch oder Anschaffung

In der Cloud zahlen Sie nach Verbrauch. Bei Büroaufgaben ist das wenig: Eine Automatisierung, die im Monat 1.000 E-Mails liest und Antworten entwirft, kommt mit dem genannten Modell bei IONOS auf rund einen Euro. Auch bei den großen Anbietern bleibt der Verbrauch für solche Aufgaben meist bei wenigen Euro bis gut zehn Euro im Monat.

Lokal zahlen Sie Anschaffung, Strom, Wartung und die Zeit für den Betrieb, dafür keinen Verbrauch. Allein über die Kosten rechnet sich eigene Hardware deshalb selten. Sie lohnt sich, wenn die Daten das Haus nicht verlassen sollen, wenn viele Beschäftigte täglich mit KI arbeiten oder wenn sehr große Mengen verarbeitet werden. Mehr zu den Kostenblöcken steht im Artikel Was kostet KI-Automatisierung im Mittelstand?.

Die Entscheidung: nach den Daten

Für Berufsgeheimnisträger wie Kanzleien und Praxen gelten zusätzlich die Regeln zur Schweigepflicht, etwa § 203 StGB. Dienstleister dürfen Geheimnisse nur erfahren, soweit es für ihre Aufgabe nötig ist, und müssen zur Verschwiegenheit verpflichtet sein.

Die Mischform: beides nutzen

In der Praxis ist eine Mischung oft die beste Lösung. Ein Ablauf entscheidet anhand fester Regeln, welches Modell welche Daten bekommt: Die Mandantenpost der Kanzlei liest ein lokales Modell, den Entwurf für den Newsletter schreibt ein großes Modell in der Cloud. Ein Großhändler lässt Bestellungen von einem Modell bei einem deutschen Anbieter auslesen und nutzt für die Recherche zu neuen Lieferanten ein Spitzenmodell. Weil die meisten Anbieter dieselbe Art von Schnittstelle nutzen, lässt sich ein Modell später austauschen, ohne den ganzen Ablauf neu zu bauen.

Fragen an Ihren Anbieter

1. In welcher Region werden Eingaben verarbeitet und gespeichert, und welche Einstellung brauche ich dafür?
2. Werden Eingaben gespeichert, wie lange, und werden sie zum Training genutzt?
3. Gibt es einen Vertrag zur Auftragsverarbeitung, und welche weiteren Dienstleister sind beteiligt?
4. Welche Modelle stehen in dieser Region zur Verfügung?
5. Wie komme ich an meine Daten und Einstellungen, wenn ich wechseln will?

Fazit

Cloud oder lokal ist keine Glaubensfrage, sondern eine Frage der Daten. Unkritisches darf in die Cloud, das Tagesgeschäft in ein Rechenzentrum in der EU mit sauberen Verträgen, und was Ihr Haus nicht verlassen soll, läuft auf eigener Hardware. Offene Modelle sind inzwischen gut genug, um viele Büroaufgaben lokal zu erledigen. Eine Digitale Fachkraft zum Beispiel arbeitet auf Wunsch komplett mit einem lokalen Modell in Ihrem Netz. Welche Lösung zu Ihren Daten passt, klären wir im kostenlosen KI-Check.

Quellen

• OpenAI: Datenresidenz und Umgang mit Daten in der Schnittstelle
• Microsoft Learn: Bereitstellungstypen in Microsoft Foundry
• Amazon Bedrock: Regionen und Profile für die Verarbeitung
• STACKIT: AI Model Serving
• IONOS: AI Model Hub
• Hugging Face: gpt-oss-120b von OpenAI
• Mistral: Modelle und Lizenzen
• Google: Gemma, Versionen und Lizenzen
• Meta: Nutzungsrichtlinie für Llama 4
• NVIDIA: DGX Spark
• Gericht der EU: Urteil vom 3. September 2025, T-553/23 (Pressemitteilung)