Cloud oder On-Prem ist für viele Unternehmen eine der ersten Fragen bei der Einführung künstlicher Intelligenz. Dabei ist sie eigentlich eine der letzten Fragen, die beantwortet werden sollten.
Zuerst muss klar sein, welche Geschäftsprozesse unterstützt werden sollen, welche Informationen dafür benötigt werden und welche Risiken entstehen. Erst danach lässt sich sinnvoll entscheiden, wo ein KI-System betrieben werden sollte.
Denn weder die Cloud noch eine lokale Installation ist automatisch die richtige Lösung.
1. Beginne mit dem Anwendungsfall
Stell dir ein mittelständisches Unternehmen vor, das KI in unterschiedlichen Bereichen einsetzen möchte.
Das Marketing möchte Texte vorbereiten und Kampagnen analysieren. Die IT will Programmcode prüfen. Die Geschäftsführung möchte vertrauliche Vertragsunterlagen auswerten. Gleichzeitig soll ein interner Wissensassistent technische Dokumentationen durchsuchen.
Alle diese Szenarien nutzen künstliche Intelligenz. Trotzdem stellen sie völlig unterschiedliche Anforderungen an Datenschutz, Leistung, Verfügbarkeit und Kontrolle.
Es wäre wirtschaftlich kaum sinnvoll, sämtliche Anwendungen ungeprüft auf derselben Infrastruktur aufzubauen.
Deshalb sollte der erste Schritt darin bestehen, die geplanten Anwendungsfälle systematisch zu erfassen.
Für jeden Anwendungsfall werden mindestens diese Fragen beantwortet:
- Welches konkrete Geschäftsproblem soll gelöst werden?
- Welche Daten benötigt die KI?
- Welche Personen sollen das System nutzen?
- Welche Qualitätsanforderungen gelten?
- Welcher wirtschaftliche Nutzen wird erwartet?
- Welche Risiken sind mit einer fehlerhaften Antwort verbunden?
Erst wenn diese Fragen geklärt sind, ergibt eine Architekturentscheidung Sinn.
2. Klassifiziere die Daten
Die Datenklassifizierung ist der wichtigste Ausgangspunkt für die spätere Betriebsentscheidung.
Ein öffentlich verfügbarer Produkttext erfordert ein anderes Schutzniveau als eine interne Kalkulation, eine Personalakte oder ein vertraulicher Unternehmenskaufvertrag.
Eine pragmatische Einteilung könnte so aussehen:
Öffentlich: Informationen, die ohnehin veröffentlicht werden dürfen.
Intern: Geschäftsinformationen ohne besonders hohe Vertraulichkeitsanforderungen.
Vertraulich: Kundeninformationen, Kalkulationen, interne Strategien und nicht öffentliche Dokumentationen.
Besonders schutzbedürftig: Informationen mit hohen rechtlichen, vertraglichen oder wirtschaftlichen Risiken bei Offenlegung.
Diese Klassifizierung sollte möglichst aus der bestehenden Informationssicherheitsorganisation übernommen werden.
Wichtig ist außerdem, dass nicht nur das Eingangsdokument betrachtet wird.
Auch Prompts, Embeddings, Suchindizes, Protokolle, Zwischenergebnisse und generierte Antworten können schutzbedürftige Informationen enthalten.
Wer die Datenklassifizierung ausschließlich auf hochgeladene Dateien beschränkt, übersieht möglicherweise einen wesentlichen Teil des Informationsflusses.
3. Bewerte Cloud und lokale KI ohne Ideologie
Cloud-Lösungen haben klare Vorteile.
Unternehmen können schnell starten, Ressourcen flexibel skalieren und aktuelle Modelle nutzen, ohne die gesamte Infrastruktur selbst zu betreiben.
Dafür entsteht eine Abhängigkeit von externen Anbietern und deren Vertragsbedingungen, Preisen, technischen Schnittstellen und Verfügbarkeit.
Lokale KI-Systeme bieten andere Vorteile.
Unternehmen können die technische Umgebung weitgehend selbst kontrollieren, Datenflüsse begrenzen und bestimmte Anwendungen auch ohne öffentliche Cloud betreiben.
Allerdings entstehen neue Aufgaben.
Die Hardware muss bereitgestellt werden. Modelle brauchen Updates. Sicherheitspatches, Monitoring, Datensicherung, Verfügbarkeit und Kapazitätsplanung bleiben in der Verantwortung des Betreibers.
Eine lokal installierte KI ist deshalb nicht automatisch sicher.
Und eine Cloud-KI ist nicht automatisch unsicher.
Entscheidend ist die tatsächliche Sicherheitsarchitektur einschließlich Zugriffsrechten, Isolation, Protokollierung und Verantwortlichkeiten.
4. Prüfe die regulatorischen Anforderungen
Bei der Entscheidung zwischen Cloud und On-Prem geht es nicht nur um technische Risiken.
Auch rechtliche und vertragliche Anforderungen spielen eine Rolle.
Die Europäische Kommission erläutert im Zusammenhang mit der DSGVO, dass Cloud-Anbieter bei der Verarbeitung personenbezogener Daten als Auftragsverarbeiter tätig sein können. Daraus ergeben sich entsprechende vertragliche und organisatorische Anforderungen.
Für ein KI-Projekt sollten deshalb unter anderem folgende Punkte geprüft werden:
- Welche personenbezogenen Daten werden verarbeitet?
- Auf welcher Rechtsgrundlage erfolgt die Verarbeitung?
- Wer ist Verantwortlicher und wer Auftragsverarbeiter?
- In welchen Ländern werden Informationen verarbeitet und gespeichert?
- Welche Unterauftragnehmer sind beteiligt?
- Welche Aufbewahrungs- und Löschregeln gelten?
- Welche Anforderungen ergeben sich zusätzlich aus Verträgen und branchenspezifischer Regulierung?
Zusätzlich muss bei relevanten KI-Anwendungen die Anwendbarkeit des EU AI Act bewertet werden.
Ein häufiger Denkfehler besteht darin, Datenschutz und IT-Sicherheit mit der Frage des Rechenzentrumsstandorts gleichzusetzen.
Der Standort ist wichtig, aber nicht ausreichend. Datenzugriffe, Verarbeitungszwecke, Vertragsbedingungen und technische Schutzmaßnahmen müssen ebenfalls berücksichtigt werden.
Diese Prüfung sollte gemeinsam mit Datenschutz, Informationssicherheit und den verantwortlichen Fachbereichen erfolgen.
5. Trenne Datenhaltung und Modellbetrieb
Eine besonders interessante Option entsteht, wenn Unternehmen nicht mehr in vollständigen Plattformen denken.
Ein KI-System besteht häufig aus mehreren technischen Komponenten:
- Datenquellen und Dokumentenspeichern
- Such- und Indexierungsdiensten
- Berechtigungssystemen
- Sprachmodellen
- Fachanwendungen
- Protokollierungs- und Monitoringdiensten
Diese Komponenten müssen nicht zwingend am selben Ort laufen.
Eine hybride Architektur könnte beispielsweise vertrauliche Dokumente in einer kontrollierten Unternehmensumgebung verwalten und für weniger sensible Aufgaben externe Modelle nutzen.
Dabei ist entscheidend, welche Informationen tatsächlich an die externe Komponente übertragen werden.
Ein lokal betriebener Dokumentenspeicher bietet wenig Schutz, wenn anschließend vertrauliche Dokumentauszüge unkontrolliert an einen Cloud-Dienst gesendet werden.
Deshalb müssen Datenflüsse auf Komponentenebene sichtbar sein.
Für Unternehmen entsteht dadurch eine weitere Option: Nicht eine pauschale Entscheidung für oder gegen die Cloud, sondern eine bewusste Zuordnung der einzelnen Verarbeitungsaufgaben.
6. Ermittle die vollständigen Betriebskosten
Die wirtschaftliche Betrachtung sollte deutlich über Lizenzkosten hinausgehen.
Bei Cloud-Anwendungen gehören insbesondere Nutzungsgebühren, API-Aufrufe, Token-Verbrauch, Datenübertragung, Integration, Betrieb und Support in die Kalkulation.
Lokale Lösungen verursachen andere Kosten.
Dazu zählen Hardware, Stromversorgung, Kühlung, Installation, Wartung, Ersatzteile, Personal und mögliche Ausfallzeiten.
Besonders relevant ist die tatsächliche Auslastung.
Ein lokal betriebenes System kann bei dauerhaft hoher und gut planbarer Nutzung wirtschaftlich interessant sein.
Bei unregelmäßigen Lastspitzen kann eine flexible Cloud-Infrastruktur Vorteile bieten.
Allerdings hängt die Rechnung stark von den benötigten Modellen, den Qualitätsanforderungen und dem tatsächlichen Nutzungsprofil ab.
Für einen belastbaren Vergleich sollte ein Unternehmen verschiedene Szenarien kalkulieren:
- Erwartete durchschnittliche Nutzung
- Spitzenlast und gleichzeitige Nutzer
- Entwicklung der Nutzung über mehrere Jahre
- Kosten bei steigenden Modellanforderungen
- Aufwand für Wartung und Weiterentwicklung
Die billigste Lösung im Pilotbetrieb ist nicht zwangsläufig die wirtschaftlichste Lösung im Regelbetrieb.
7. Kläre die Betriebsverantwortung
Eine KI-Anwendung braucht nach dem erfolgreichen Pilotprojekt einen verantwortlichen Betreiber.
Das klingt selbstverständlich, wird aber in frühen Projekten häufig unterschätzt.
Wer reagiert auf Störungen? Wer verwaltet die Berechtigungen? Wer bewertet neue Modellversionen? Wer überprüft die Antwortqualität? Wer kümmert sich um Sicherheitsvorfälle?
Diese Aufgaben sollten nicht nebenbei bei einzelnen Entwicklern liegen bleiben.
Für jede produktive KI-Anwendung sind mindestens drei Verantwortlichkeiten notwendig:
Fachliche Verantwortung: Wer entscheidet, ob die Ergebnisse für den Geschäftsprozess geeignet sind?
Technische Verantwortung: Wer gewährleistet Verfügbarkeit, Performance, Integration und Wartung?
Governance-Verantwortung: Wer überwacht die Einhaltung rechtlicher und organisatorischer Anforderungen?
Diese Rollen können je nach Unternehmensgröße unterschiedlich besetzt werden. Entscheidend ist, dass sie eindeutig geklärt sind.
8. Führe einen begrenzten Praxistest durch
Bevor eine größere Infrastrukturinvestition beschlossen wird, sollte ein kleiner, messbarer Versuch stattfinden.
Nehmen wir als hypothetisches Beispiel einen KI-Assistenten, der interne technische Dokumentationen durchsucht.
Das Unternehmen stellt eine repräsentative Auswahl freigegebener Dokumente bereit und definiert typische Fachfragen.
Anschließend werden eine geeignete Cloud-Lösung und eine lokale Alternative anhand derselben Aufgaben getestet.
Bewertet werden:
- Qualität und Nachvollziehbarkeit der Antworten
- Umgang mit unvollständigen Informationen
- Antwortgeschwindigkeit unter realistischen Bedingungen
- Einhaltung von Berechtigungen
- Technischer Integrationsaufwand
- Voraussichtliche Betriebskosten
Das Ergebnis kann überraschen.
Möglicherweise liefert die lokale Lösung für standardisierte Wissensabfragen bereits ausreichende Qualität.
Vielleicht stellt sich heraus, dass bestimmte komplexe Aufgaben ein leistungsfähigeres Modell benötigen.
Beides sind verwertbare Erkenntnisse.
Der Test sollte nicht beweisen, dass eine bereits bevorzugte Plattform richtig ist. Er sollte helfen, eine offene Entscheidung fundiert zu treffen.
9. Plane Skalierung und Anbieterwechsel
KI-Technologien entwickeln sich schnell.
Deshalb sollte die Architektur nicht unnötig eng an einzelne Modelle oder Anbieter gekoppelt werden.
Wo technisch und wirtschaftlich sinnvoll, helfen standardisierte Schnittstellen, getrennte Datenhaltung und austauschbare Modellkomponenten.
Dabei geht es nicht um vollständige Anbieterunabhängigkeit um jeden Preis.
Auch eine abstrakte Integrationsschicht verursacht Kosten und zusätzlichen Betriebsaufwand.
Ziel ist vielmehr, kritische Abhängigkeiten sichtbar und beherrschbar zu machen.
Ein sinnvoller Exit-Plan beantwortet beispielsweise:
- Wie lassen sich Daten vollständig exportieren?
- Was passiert mit Suchindizes und Konfigurationen?
- Wie aufwendig wäre ein Wechsel des Sprachmodells?
- Welche Funktionen sind anbieterspezifisch?
- Welche Kosten entstehen bei einem Plattformwechsel?
Diese Fragen sollten vor einer größeren Skalierungsentscheidung beantwortet sein.
10. Triff die Entscheidung anhand einer Risikomatrix
Am Ende werden die Ergebnisse zusammengeführt.
Eine einfache Entscheidungsmatrix kann ausreichen.
| Kriterium | Leitfrage |
|---|---|
| Datenschutz | Welche Informationen dürfen wohin übertragen werden? |
| Sicherheit | Welche technischen Kontrollen sind notwendig? |
| Leistung | Welche Antwortqualität und Geschwindigkeit wird benötigt? |
| Wirtschaftlichkeit | Wie hoch sind die Gesamtkosten über die Nutzungsdauer? |
| Betrieb | Wer kann das System zuverlässig betreiben? |
| Skalierung | Wie verändern sich Kosten und Leistung bei steigender Nutzung? |
| Unabhängigkeit | Wie beherrschbar sind die Anbieterabhängigkeiten? |
Diese Kriterien sollten je nach Anwendungsfall gewichtet werden.
Bei vertraulichen Verhandlungen kann die Begrenzung von Datenflüssen besonders wichtig sein.
Für einen allgemeinen Schreibassistenten könnten dagegen Bedienkomfort und schnelle Verfügbarkeit stärker gewichtet werden.
Die Entscheidung wird damit nachvollziehbar, statt sich auf persönliche Präferenzen einzelner IT-Verantwortlicher zu stützen.
Fazit: Die richtige KI-Strategie ist nicht Cloud-first
Die Entscheidung für Cloud, On-Prem oder Hybrid sollte das Ergebnis einer Analyse sein und nicht deren Ausgangspunkt.
Unternehmen brauchen Transparenz über ihre Daten, eine klare Bewertung der Risiken, realistische Betriebskosten und eindeutig definierte Verantwortlichkeiten.
Dann lässt sich auch begründen, warum einzelne Anwendungen lokal betrieben und andere über externe Dienste bereitgestellt werden.
Wer dagegen zuerst die Plattform auswählt und anschließend nach passenden Anwendungsfällen sucht, riskiert unnötige Kosten und Abhängigkeiten.
Die entscheidende Frage lautet deshalb nicht: Wo soll unsere KI laufen?
Sondern: Welche KI-Architektur unterstützt unsere Geschäftsprozesse mit vertretbaren Risiken und Kosten?
Zum Einstieg in das Thema findest du auch meine früheren Artikel:
Quellen
- Europäische Kommission: Application of the GDPR. https://commission.europa.eu/law/law-topic/data-protection/information-business-and-organisations/application-gdpr_en
- Europäische Kommission: Standardvertragsklauseln für Verantwortliche und Auftragsverarbeiter, 2021. https://commission.europa.eu/publications/standard-contractual-clauses-controllers-and-processors-eueea_de
- Bundesamt für Sicherheit in der Informationstechnik: Generative KI-Modelle – Risiken und Sicherheitsmaßnahmen. https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf
