KI-Sicherheit: Warum Datenschutz allein nicht genügt

Teaser: Viele Unternehmen prüfen bei KI vor allem Datenschutz und Informationssicherheit. Doch sichere Daten bedeuten noch lange keine zuverlässige KI. Warum unabhängige Prüfungen beim KI-Einkauf wichtiger werden und worauf Entscheider achten sollten.

Anthropic öffnet unabhängigen Prüfern seine internen KI-Systeme. Sechs externe Experten erhalten weitreichenden Zugang und dürfen ihre Ergebnisse veröffentlichen. Eine bemerkenswerte Entwicklung – vor allem, weil sie eine Frage aufwirft, die in vielen Unternehmen noch unbeantwortet bleibt:

Wer prüft eigentlich, ob die eingesetzte KI wirklich zuverlässig funktioniert?

In meinen Beratungsgesprächen mit mittelständischen Unternehmen dreht sich die Sicherheitsdiskussion häufig um Datenschutz und Informationssicherheit. Besonders der Schutz geistigen Eigentums spielt eine große Rolle. Wo werden Unternehmensdaten verarbeitet? Wer kann darauf zugreifen? Können vertrauliche Informationen in fremde Hände gelangen?

Das sind wichtige und berechtigte Fragen.

Allerdings habe ich auch erlebt, dass Unternehmen zwar KI-Demonstrationen gesehen haben, aber keine belastbare Methode besaßen, um die Zuverlässigkeit der Ergebnisse objektiv zu überprüfen.

Genau hier liegt aus meiner Sicht ein blinder Fleck: Wir beschäftigen uns intensiv damit, wie wir unsere Daten vor der KI schützen. Aber deutlich weniger damit, wie wir unsere Geschäftsprozesse vor Fehlern der KI schützen.

Was Anthropics Entscheidung wirklich bedeutet

Am 15. Oktober 2026 kündigte Anthropic an, sechs Mitarbeitenden der unabhängigen Prüforganisation METR Zugang zu internen Werkzeugen und Systemen einzuräumen. Die Zugriffsrechte sind weitgehend mit denen der unternehmenseigenen Risikoprüfungsteams vergleichbar.

Besonders interessant ist die Vereinbarung zu den Ergebnissen: METR darf seine Bewertungen veröffentlichen, ohne dass Anthropic die Veröffentlichung grundsätzlich verhindern kann.

Allerdings gibt es Einschränkungen. Vertrauliche Informationen, beispielsweise Kundendaten oder bestimmte interne Architekturdetails, können geschwärzt werden. Anthropic entscheidet letztlich selbst, welche Informationen unter diese Kategorien fallen. Die entsprechende Regelung wurde am 16. Oktober präzisiert.

Das ist ein wichtiger Unterschied zwischen unabhängigem Prüfen und uneingeschränkter Kontrolle.

Auch METR selbst weist darauf hin, dass externe Prüfer bei freiwilligen Kooperationen weiterhin von den Zugangsrechten abhängig sind, die ihnen Unternehmen einräumen.

Deshalb ist nicht allein entscheidend, dass eine unabhängige Organisation prüft. Entscheidend sind ebenso der tatsächliche Prüfumfang, der Informationszugang und die Möglichkeit, Einschränkungen und kritische Ergebnisse transparent zu machen.

Dabei sollte man die Ankündigung auch nicht überbewerten. Die Zusammenarbeit konzentriert sich auf Risiken fortgeschrittener KI-Systeme. Sie ist weder ein allgemeines Sicherheitszertifikat für Anthropic noch ein Beweis dafür, dass jede konkrete Anwendung zuverlässig funktioniert.

Trotzdem ist der Ansatz bemerkenswert: Der Anbieter verlässt sich nicht ausschließlich auf seine eigene Bewertung, sondern ermöglicht externen Fachleuten einen deutlich tieferen Einblick.

Und genau dieses Prinzip sollten wir auf den Unternehmenseinsatz von KI übertragen.

Datenschutz ist nicht dasselbe wie KI-Sicherheit

Wenn ich mit Unternehmen über KI spreche, steht häufig zuerst der Schutz des geistigen Eigentums im Mittelpunkt.

Das ist nachvollziehbar. Niemand möchte, dass vertrauliche Dokumente, Geschäftsgeheimnisse oder interne Prozessinformationen unkontrolliert verarbeitet werden.

Deshalb beschäftigen sich Unternehmen mit Cloud-Standorten, Zugriffsrechten, Verschlüsselung und zunehmend auch mit lokalen KI-Systemen.

Doch selbst wenn sämtliche Daten im eigenen Rechenzentrum verbleiben, ist damit nur ein Teil des Problems gelöst.

Eine KI kann datenschutzkonform betrieben werden und trotzdem fachlich falsche oder gefährliche Ergebnisse liefern.

Sie kann beispielsweise falsche Schlussfolgerungen ziehen, relevante Informationen übersehen oder Entscheidungen auf einer unvollständigen Datenbasis vorbereiten.

Noch schwieriger wird die Situation bei KI-Agenten. Sobald ein System nicht nur Informationen ausgibt, sondern selbstständig Aktionen ausführt, müssen auch seine Berechtigungen, Entscheidungsgrenzen und möglichen Fehlhandlungen geprüft werden.

Dabei reicht es nicht, ausschließlich das zugrunde liegende Sprachmodell zu betrachten.

Ein Unternehmen muss das gesamte KI-System bewerten: die angebundenen Datenquellen, die Berechtigungen, die Verarbeitungsschritte, die eingesetzten Werkzeuge und die Einbettung in den Geschäftsprozess.

Selbst ein leistungsfähiges Sprachmodell kann in einer schlecht konzipierten Anwendung unzuverlässige Ergebnisse produzieren.

Aus meiner Sicht brauchen wir deshalb eine klare Trennung zwischen Datenschutz, Informationssicherheit und funktionaler KI-Zuverlässigkeit.

Eine gute KI-Demo ist noch kein belastbarer Sicherheitsnachweis. Sie zeigt, was ein System unter bestimmten Bedingungen leisten kann. Sie beantwortet aber nicht automatisch, wie zuverlässig es im späteren Unternehmensalltag arbeitet.

Dafür benötigen wir definierte Testfälle, nachvollziehbare Bewertungskriterien und dokumentierte Ergebnisse. Erst dann lässt sich beurteilen, ob eine KI für einen bestimmten Geschäftsprozess tatsächlich geeignet ist.

Warum menschliche Kontrolle und Zertifikate nicht automatisch ausreichen

Häufig lautet die Antwort auf mögliche KI-Fehler: Am Ende kontrolliert doch ohnehin ein Mensch das Ergebnis.

Das klingt vernünftig. Allerdings ist diese Kontrolle weniger selbstverständlich, als viele annehmen.

Eine Forschungsarbeit von Steven Randazzo, Akshita Joshi und weiteren Wissenschaftlern untersuchte die Zusammenarbeit von mehr als 70 Beratern der Boston Consulting Group mit generativer KI.

Die Forschenden beobachteten dabei ein bemerkenswertes Verhalten: Wenn die Berater Ergebnisse innerhalb des KI-Dialogs hinterfragten, verstärkte das untersuchte Modell teilweise seine Überzeugungsversuche, anstatt seine ursprüngliche Schlussfolgerung angemessen zu korrigieren.

Die Forschenden bezeichnen dieses Phänomen als Persuasion Bombing.

Die KI reagiert auf Kritik mit zusätzlichen Argumenten, Erklärungen und vermeintlichen Belegen. Dadurch kann der Eindruck entstehen, die ursprüngliche Antwort sei besonders gründlich geprüft worden. Tatsächlich wurde möglicherweise vor allem ihre rhetorische Verteidigung verbessert.

Das bedeutet nicht, dass jede KI so reagiert oder menschliche Kontrolle grundsätzlich wirkungslos wäre. Die Untersuchung zeigt aber ein relevantes Risiko: Eine Überprüfung innerhalb desselben KI-Dialogs ist nicht zwangsläufig unabhängig.

Wer belastbare Ergebnisse benötigt, sollte deshalb eigenständige Belege, überprüfbare Quelldaten und gegebenenfalls unabhängige Fachleute einbeziehen.

Und damit kommen wir zu einem praktischen Problem im Mittelstand.

Die meisten Unternehmen verfügen nicht über die Ressourcen, um komplexe KI-Systeme umfassend selbst zu evaluieren.

Nach meiner Erfahrung ist das auch nicht überraschend. Die technische Sicherheitsbewertung von KI gehört schließlich nicht zu ihrem eigentlichen Kerngeschäft.

Deshalb halte ich externe Experten und zertifizierte Systeme für einen sinnvollen Weg, um diese Lücke zu schließen.

Dabei müssen wir allerdings genauer hinsehen, was ein Zertifikat tatsächlich bestätigt.

Die Norm ISO/IEC 42001 definiert beispielsweise Anforderungen an ein Managementsystem für künstliche Intelligenz. Eine entsprechende Zertifizierung kann belegen, dass eine Organisation bestimmte Anforderungen an ihr KI-Managementsystem erfüllt.

Sie garantiert jedoch nicht, dass jedes einzelne Ergebnis eines KI-Modells korrekt ist oder jede Anwendung für ihren vorgesehenen Einsatz geeignet bleibt.

Ein Zertifikat ist deshalb eine wichtige Grundlage, aber kein universeller Freibrief.

Auch das AI Risk Management Framework des amerikanischen National Institute of Standards and Technology (NIST) betont die Bedeutung kontinuierlicher Prüfungen, dokumentierter Messverfahren und unabhängiger Bewertungen.

Der entscheidende Punkt ist: Unternehmen müssen nicht jede Prüfung selbst durchführen. Aber sie sollten verstehen, was geprüft wurde, wer geprüft hat und wo die Grenzen der Prüfung liegen.

Fünf Fragen, die Entscheider ihren KI-Anbietern stellen sollten

Für mich gehört die unabhängige Bewertung von KI zunehmend in den normalen Auswahl- und Beschaffungsprozess.

Das bedeutet nicht, dass jedes kleine Assistenzsystem eine aufwendige externe Sicherheitsprüfung benötigt. Der erforderliche Aufwand sollte sich am tatsächlichen Risiko der Anwendung orientieren.

Sobald KI jedoch wesentliche Geschäftsprozesse beeinflusst oder eigenständig Aktionen ausführen darf, sollten CIOs und Geschäftsführungen genauer nachfragen.

Diese fünf Fragen gehören für mich in entsprechende Gespräche:

1. Was wurde tatsächlich geprüft?

Geht es lediglich um Datenschutz und Infrastruktur oder auch um die fachliche Zuverlässigkeit, Robustheit und Sicherheit des KI-Systems? Wurden nur Standardfunktionen getestet oder auch ungewöhnliche Eingaben, fehlerhafte Informationen und mögliche Manipulationsversuche?

2. Wer hat die Prüfung durchgeführt?

Wurde die Bewertung ausschließlich vom Hersteller vorgenommen? Waren unabhängige Experten beteiligt? Welche Qualifikationen besitzen die Prüfer und welche möglichen Interessenkonflikte bestehen?

3. Auf welche Informationen hatten die Prüfer Zugriff?

Konnten sie nur eine vorbereitete Testumgebung verwenden oder auch relevante Systeminformationen, Testdaten, Protokolle und technische Sicherheitsmaßnahmen untersuchen? Welche Einschränkungen gab es?

4. Sind die Ergebnisse und ihre Grenzen nachvollziehbar?

Gibt es einen dokumentierten Prüfbericht? Werden Schwachstellen und Einschränkungen offengelegt? Kann der Prüfer kritische Feststellungen unabhängig kommunizieren oder kontrolliert der Anbieter sämtliche Aussagen?

5. Ist die Prüfung für unseren konkreten Einsatz relevant?

Ein allgemeiner Modelltest ersetzt nicht die Bewertung einer Unternehmensanwendung. Welche Risiken entstehen durch unsere Daten, unsere Schnittstellen und die vorgesehenen Aktionen? Und wann wird nach Änderungen am System erneut geprüft?

Gerade die letzte Frage halte ich für besonders wichtig.

KI-Systeme entwickeln sich weiter. Modelle werden aktualisiert, Datenquellen erweitert und neue Funktionen ergänzt. Eine einmalige Bewertung kann deshalb nicht automatisch für den gesamten späteren Betrieb gelten.

Unternehmen sollten festlegen, wann eine erneute Evaluation erforderlich ist, wer die Ergebnisse beurteilt und wie auf festgestellte Probleme reagiert wird.

Auch die Dokumentation gehört dazu. Ein aussagekräftiger Prüfbericht sollte erkennen lassen, welche Systemversion untersucht wurde, unter welchen Bedingungen getestet wurde und welche Risiken weiterhin bestehen.

Externe Expertise und Zertifizierungen können dabei viel Arbeit abnehmen. Die Entscheidung darüber, welches Restrisiko das Unternehmen akzeptieren möchte, bleibt aber eine Managementaufgabe.

Fazit: Vertrauen braucht überprüfbare Grundlagen

Die Ankündigung von Anthropic ist aus meiner Sicht ein Schritt in die richtige Richtung.

Nicht weil damit bewiesen wäre, dass die Systeme des Unternehmens sicher sind. Sondern weil unabhängige Prüfer Zugang zu Informationen erhalten, die für eine fundierte Risikobewertung notwendig sein können.

Für den Mittelstand liegt darin eine wichtige Erkenntnis.

Wir müssen nicht alle zu KI-Sicherheitsforschern werden. Dafür gibt es spezialisierte Experten, etablierte Prüfverfahren und zunehmend geeignete Standards.

Aber wir müssen anfangen, beim KI-Einkauf dieselbe kritische Haltung einzunehmen, die wir auch bei anderen geschäftskritischen Technologien erwarten würden.

Datenschutz ist notwendig. Informationssicherheit ebenfalls. Doch beides ersetzt keine Prüfung der tatsächlichen Zuverlässigkeit eines KI-Systems.

Ein Anbieter, der Sicherheit verspricht, sollte erklären können, wie dieses Versprechen überprüft wurde.

Und ein Unternehmen, das KI produktiv einsetzt, sollte diese Nachweise einfordern.

Die entscheidende Frage lautet deshalb:

Verlangst du bei deinem nächsten KI-Projekt unabhängige Prüfnachweise – oder verlässt du dich weiterhin darauf, dass der Anbieter seine eigene Technologie für sicher hält?

Quellen

Bewerte hier den Post!

[Total: 0 Average: 0]