KI-Infrastruktur im Mittelstand: Mehr als On-Prem vs. Cloud

Bei der KI-Infrastruktur im Mittelstand dreht sich die Diskussion fast immer um eine Frage: eigenes Rechenzentrum oder Cloud? Dahinter steckt oft die Annahme, dass nur On-Prem datenschutzkonform sei. Meine These lautet anders: Datenschutzkonformität ist eine Eigenschaft der Architektur, nicht des Standorts. Wer nur über den Serverstandort entscheidet, übersieht die Faktoren, an denen KI-Projekte in der Praxis tatsächlich scheitern oder gelingen.

Ein Beispiel: Wie der Wechsel in die Cloud die Datenfrage verschiebt

Wie eng Infrastruktur und Datennutzung zusammenhängen, zeigt ein öffentlich dokumentiertes Beispiel. Laut manager magazin (4/2024) hatte SAP lange keinen gesicherten Zugriff auf die Daten seiner Kunden. Ein früherer Topmanager wird mit den Worten zitiert: „SAP hatte qua Verträgen lange gar keinen gesicherten Zugriff auf die Kundendaten.“ Gerade diese Daten sind aber wichtig, um gute KI-Lösungen zu entwickeln. On-Premise gab es nur Abmachungen mit einzelnen Kunden. In allen Cloud-Verträgen ist die Verwendung von Daten, insbesondere für KI, nach Angaben von SAP inzwischen grundsätzlich geregelt.

Gleichzeitig zeigt das Beispiel, wohin sich der Markt bewegt. Von SAP hieß es: „Wir haben 27.000 Kunden, die unsere KI-Szenarien nutzen und weniger als ein Prozent davon sind on-premise.“

Daraus folgt nicht, dass Cloud richtig und On-Prem falsch ist. Es folgt etwas anderes: Mit dem Wechsel in die Cloud verlagert sich die Frage, wer deine Daten wofür nutzen darf, vom Rechenzentrum in den Vertrag. Wer das nicht mitdenkt, trifft eine Infrastrukturentscheidung und delegiert dabei unbemerkt eine Datenstrategie.

Warum die Standortfrage zu früh gestellt wird

Simon Haddadin, Mitgründer und CEO von Franka Emika, hat schon 2020 im Harvard Business Manager auf einen blinden Fleck im Mittelstand hingewiesen: Viele Prozessschritte werden längst digital abgebildet und von Softwareanbietern mithilfe von KI optimiert. „Dass dies bereits mit Prozessdaten passiert, ist dem Mittelstand oft nicht klar“, sagte er und fragte: „Wo landen diese Daten, wer hat Zugriff darauf?“

Diese Frage ist auch Jahre später die richtige. Sie hat aber zwei Hälften, und die Standortdebatte beantwortet nur die erste. „Wo landen die Daten?“ ist eine Frage der Infrastruktur. „Wer hat Zugriff?“ ist eine Frage der Architektur, der Rechte und der Verträge, und sie stellt sich On-Prem genauso wie in der Cloud.

Hinzu kommt: Viele Mittelständler haben sich lange schwergetan, überhaupt eine KI-Strategie zu entwickeln. Eine Studie der Universität des Saarlandes und der Roland Berger Stiftung, über die der Harvard Business Manager 2020 berichtete, zeigte, dass viele Unternehmen noch keine KI-Strategie hatten und nur wenige Mitarbeitende in KI-Technologien schulten. Wer ohne Strategie über Infrastruktur entscheidet, entscheidet über das Werkzeug, bevor die Aufgabe klar ist.

Was On-Prem wirklich löst und was nicht

On-Prem hat echte Stärken. Du kontrollierst, wo Daten gespeichert und verarbeitet werden. Du bist unabhängig von Vertragsänderungen eines Anbieters. Für bestimmte Datenklassen und regulatorische Umfelder ist das der richtige Weg.

Aber On-Prem löst drei Dinge nicht automatisch:

1. Unbefugten Zugriff von innen. Ein Sprachmodell, das auf alle Dokumente zugreifen kann, gibt diese Inhalte potenziell an alle Nutzer weiter, die mit ihm sprechen. Der Server steht im eigenen Haus, die Monatsabschlüsse landen trotzdem beim Falschen.
2. Nachweisbarkeit. Datenschutzkonformität muss belegbar sein: Wer hat wann welche Information abgefragt, und welche Quelle lag der Antwort zugrunde? Ohne Protokollierung und Monitoring ist das auch im eigenen Rechenzentrum nicht möglich.
3. Sicheren Betrieb. Ein System, das nicht aktualisiert, überwacht und gehärtet wird, ist nicht sicherer als ein professionell betriebener Cloud-Dienst.

In meinem Buch „KI-gestützte Prozessautomatisierung“ (Springer, 2026) beschreibe ich diesen Zielkonflikt: Frameworks und eigener Betrieb bieten maximale Kontrolle und Flexibilität, erfordern aber mehr Zeit und Fachwissen. Cloud-Dienste ermöglichen eine schnelle Implementierung, sind aber mit Risiken wie Vendor Lock-in und Datenrisiken verbunden. Keine der beiden Optionen ist per se die sichere.

Das Rechte- und Rollenmodell ist die eigentliche Datenschutzschicht

Wenn der Standort nicht über den Datenschutz entscheidet, was dann? Vor allem das Rechte- und Rollenmodell.

Ein KI-System, das Wissen aus Unternehmensquellen bereitstellt, muss die Berechtigungen dieser Quellen übernehmen. Wer im Dokumentenmanagement keinen Zugriff auf einen Vertrag hat, darf auch keine Antwort bekommen, die auf diesem Vertrag beruht. Das klingt selbstverständlich, ist aber eine der häufigsten Lücken bei KI-Einführungen, weil Pilotprojekte oft mit vereinfachten, breiten Rechten starten.

Für Entscheider heißt das:

• Datenklassen festlegen. Welche Daten sind öffentlich, intern, vertraulich oder streng vertraulich? Erst diese Einteilung macht Infrastrukturentscheidungen begründbar.
• Berechtigungen durchreichen statt neu erfinden. Das KI-System sollte die bestehenden Zugriffsrechte nutzen, nicht ein paralleles Rechtemodell aufbauen.
• Verantwortliche benennen. Jede angebundene Datenquelle braucht eine Rolle, die festlegt, wer was sehen darf, und das regelmäßig prüft.

Diese Arbeit ist unabhängig vom Standort. Sie ist On-Prem genauso nötig wie in der Cloud, und sie entscheidet mehr über die Datenschutzkonformität als jede Serverfrage.

Verträge lesen wie Architektur

Bei Cloud-Diensten kommt eine zweite Schicht hinzu: der Vertrag. Das SAP-Beispiel zeigt, dass die Nutzung von Kundendaten für KI dort geregelt wird. Für dich als Entscheider bedeutet das, die Vertragsprüfung genauso ernst zu nehmen wie eine Architekturprüfung.

Wichtige Fragen sind:

• Dürfen Eingaben oder Dokumente für Training oder Verbesserung von Modellen verwendet werden?
• Wo werden Daten verarbeitet und gespeichert, und können sich diese Orte ändern?
• Wie kommst du an deine Daten, wenn du den Anbieter wechseln willst?
• Wie wirst du über Vertragsänderungen informiert?

Diese Fragen gehören nicht allein in den Einkauf. Sie betreffen die Datenstrategie und damit die Geschäftsführung.

Hybride Modelle: Entscheidung pro Anwendungsfall

Für die meisten Mittelständler ist die realistische Antwort weder reines On-Prem noch reine Cloud, sondern ein bewusst gestaltetes hybrides Modell. In meinem Buch empfehle ich, je nach Anwendungsfall zwischen beiden Optionen zu entscheiden oder sie zu kombinieren.

Die Logik ist einfach: Besonders sensible Daten wie Finanzabschlüsse oder Personaldaten werden in einer kontrollierten Umgebung verarbeitet, für die du Betrieb und Kompetenz sicherstellen kannst. Weniger sensible Anwendungsfälle laufen dort, wo sie am schnellsten und wirtschaftlichsten betrieben werden. Die Grundlagen dazu habe ich in Cloud oder On-Prem? Die richtige KI-Strategie und im früheren Vergleich von Cloud-basierten KI-Lösungen und On-Premise-Betrieb beschrieben.

Entscheidend ist nicht die Mischung an sich, sondern dass die Zuordnung bewusst erfolgt, dokumentiert ist und regelmäßig überprüft wird.

Handlungsempfehlungen für Entscheider

1. Beginne mit Datenklassen, nicht mit Servern. Leg fest, welche Daten wie schutzbedürftig sind, bevor du über Infrastruktur sprichst.
2. Mach das Rechtekonzept zur Voraussetzung jedes KI-Piloten. Kein Pilot mit vereinfachten Vollzugriffsrechten auf sensible Daten.
3. Prüfe Datennutzungsklauseln auf Geschäftsführungsebene. Verträge entscheiden mit, was mit deinen Daten passiert.
4. Bewerte On-Prem nach Betriebsfähigkeit. Wer patcht, wer überwacht, wer vertritt? Ohne Antworten ist Kontrolle eine Illusion.
5. Entscheide pro Anwendungsfall. Ein hybrides Modell mit klarer Zuordnung schlägt eine Grundsatzentscheidung für alles.
6. Sorge für Nachweisbarkeit. Protokollierung und Monitoring machen Datenschutzkonformität belegbar, egal wo das System läuft.

Fazit

Die Frage „On-Prem oder Cloud?“ ist legitim, aber sie ist nicht die erste. Datenschutz bei KI entsteht durch ein sauberes Rechte- und Rollenmodell, durch bewusst geprüfte Verträge und durch einen Betrieb, den du tatsächlich leisten kannst. Wer diese drei Faktoren klärt, kann die Standortfrage danach in Ruhe und pro Anwendungsfall beantworten.

Welche dieser Fragen ist in deinem Unternehmen heute noch offen: Rechte, Verträge oder Betrieb?

Quellen

• manager magazin 4/2024, S. 24: Bericht zu SAP, KI-Strategie und Datenzugriff
• Simon Haddadin, Mitgründer und CEO Franka Emika, im Harvard Business Manager 2/2020, S. 8
• Studie der Universität des Saarlandes und der Roland Berger Stiftung zur KI-Nutzung im europäischen Mittelstand (berichtet im Harvard Business Manager 2/2020)
• Julian Funke: „KI-gestützte Prozessautomatisierung“, Springer 2026
• Cloud oder On-Prem? Die richtige KI-Strategie
• Vergleich von Cloud-basierten KI-Lösungen und On-Premise-Betrieb