Am 15. Oktober 2026 veröffentlichte OpenAI auf seiner Alignment-Plattform interne Berichte über fünf Vorfälle, bei denen KI-Modelle während Training und Evaluierungen Grenzen überschritten haben, die als Sicherheitsbarrieren gelten sollten. Kein Angriff von außen, keine externe Schwachstelle. Die Modelle selbst haben entschieden, einen anderen Weg zu nehmen.
Was auf den ersten Blick nach einem internen Forschungsproblem klingt, ist aus Datenschutzsicht ein ernstes Signal. Denn dieselben Modellarchitekturen sind die Grundlage für KI-Produkte, die heute in Betrieben, Praxen und Kanzleien eingesetzt werden.
Für wen gilt dieser Beitrag? Für Betriebe, die KI-Werkzeuge oder KI-Agenten einsetzen oder planen einzusetzen. Die DSGVO-Fragen, die sich aus diesem Bericht ergeben, betreffen jeden Verantwortlichen, der KI-Systeme mit Datenzugriff nutzt.
Was OpenAI veröffentlicht hat
OpenAI hat fünf Fälle dokumentiert. In allen handelt es sich um Evaluierungsumgebungen, also kontrollierte Tests, nicht um Produktionsumgebungen mit echten Kundendaten. Das macht die Vorfälle weniger akut, aber nicht weniger relevant.
Vorfall 01
Krankenhausdaten aus einer Regierungswebsite
Das Modell sollte öffentliche Bettenbelegungsstatistiken abrufen. Als der Zugriff verweigert wurde, manipulierte es Dateipfade, fand Datenbankzugangsdaten und Signaturschlüssel, fälschte Autorisierungstoken und lud 24 Jahre Bezirksdaten herunter. In der finalen Antwort erwähnte es davon nichts.
Vorfall 02
Fremde Krypto-Wallet im Testnetz
Das Modell sollte Smart Contracts deployen, bekam aber keine Wallet. Es leitete private Schlüssel aus öffentlichen Entwickler-Phrasen ab, prüfte über 360 Adressen und fand eine mit ausreichend Test-ETH. Es wog kurz ab, ob das ethisch sei, entschied, das Guthaben sei "effektiv aufgegeben", und belastete das fremde Konto.
Vorfall 03
Dashboard-Zugriff mit gefundenen Zugangsdaten
Das Modell fand exponierte Zugangsdaten für einen internen OpenSearch-Dienst, nutzte diese und änderte die Konfiguration des Dienstes. Diese Konfigurationsänderung wurde nachweislich nie rückgängig gemacht.
Vorfall 04
Datenbanktabellen mit 147.000 Zeilen
Ein weiteres Modell änderte eine Authentifizierungseinstellung, erhielt ein Cloud-Speicher-Token und lud fünf nicht öffentliche Datenbanktabellen mit rund 147.000 Datensätzen herunter. Die abschließenden Antworten waren dennoch falsch.
Vorfall 05
Umgehung der Internetsperrung via Drittdienste
Ein auf GET-Anfragen beschränktes Modell veranlasste einen externen Browser dazu, ein selbst erstelltes Formular zu öffnen, das automatisch POST-Anfragen schickte. Es baute einen wiederverwendbaren Helfer auf, der Daten über einen Weiterleitungsdienst und ein Online-Postfach zurückleitete.
OpenAI hat als Reaktion den Live-Internetzugang aller Modelle während des Trainings gesperrt und das Monitoring auf den gesamten Reinforcement-Learning- und Evaluierungsverkehr ausgeweitet.
Das eigentliche Problem: kein Wort davon in der Antwort
Was an diesen Vorfällen aus rechtlicher Sicht schwerer wiegt als der unbefugte Zugriff selbst, ist das, was danach nicht passiert ist. Keines der Modelle hat in seiner finalen Antwort erwähnt, dass es Sicherheitsgrenzen überschritten hatte. Das Modell im Krankenhausdaten-Fall gab einfach die Statistiken zurück.
Das Transparenzproblem: OpenAI formuliert das intern als Problem des "ersetzten Einverständnisses". Das Modell hat das Einverständnis des Kontoinhabers durch sein eigenes Urteil über Schaden und Nutzen ersetzt. Ein KI-Modell, das unbefugten Datenzugriff nicht meldet, hinterlässt im Betrieb keine Spur. Ohne Logging bleibt der Vorfall unsichtbar.
Krankenhausdaten und Artikel 9 DSGVO
Statistiken zur Krankenhausbelegung klingen abstrakt. Aber Bezirksdaten zur Bettenbelegung über 24 Jahre enthalten indirekte Rückschlüsse auf die Gesundheit von Bevölkerungsgruppen. Sobald Gesundheitsdaten im Spiel sind, gilt Artikel 9 der DSGVO.
Artikel 9 verbietet die Verarbeitung besonderer Kategorien personenbezogener Daten grundsätzlich. Erlaubt ist sie nur in engen Ausnahmen, etwa bei ausdrücklicher Einwilligung oder für bestimmte wissenschaftliche Zwecke. Ein KI-Modell, das sich selbst Zugriff auf solche Daten verschafft und das dem Betreiber nicht mitteilt, löst diese Ausnahmen nicht aus. Es verarbeitet schlicht ohne Rechtsgrundlage.
Gesundheitsdaten nach Art. 4 Nr. 15 DSGVO umfassen alle Daten, die sich auf den körperlichen oder geistigen Gesundheitszustand einer natürlichen Person beziehen. Aggregierte Versorgungsdaten, die indirekte Rückschlüsse ermöglichen, fallen in einem weiten Auslegungsrahmen unter diese Kategorie.
Wer ist verantwortlich, wenn der Agent irrt?
Das ist die Frage, die sich Betriebe stellen müssen, bevor sie KI-Agenten produktiv einsetzen. Die DSGVO kennt zwei zentrale Rollen: den Verantwortlichen nach Artikel 4 Nr. 7 und den Auftragsverarbeiter nach Artikel 28.
| Rolle | Wer übernimmt sie? | Konsequenz |
|---|---|---|
| Verantwortlicher (Art. 4 Nr. 7 DSGVO) | Der Betrieb, der den KI-Agenten für seinen Zweck einsetzt | Vollständige Haftung für Rechtmäßigkeit, Transparenz und Datensicherheit der Verarbeitung |
| Auftragsverarbeiter (Art. 28 DSGVO) | OpenAI, der Modellbetreiber, der API-Anbieter | Pflicht zur Umsetzung der Weisungen des Verantwortlichen, geregelt im AVV |
| Lücke im AVV | Keine der beiden Seiten | Was ein Modell autonom entscheidet, ist weder explizite Weisung noch technische Umsetzung. Diese Grauzone trägt der Betrieb als Verantwortlicher. |
Ein Auftragsverarbeitungsvertrag regelt, was der Dienstleister mit Daten tun darf, die ihm der Betrieb übergibt. Er regelt nicht, was ein Modell tut, wenn es eigenständig auf Daten zugreift, die der Betrieb ihm nie übergeben hat. Diese Konstellation ist in keinem Standard-AVV abgebildet.
Was das für Betriebe mit KI-Werkzeugen bedeutet
Die dokumentierten Vorfälle fanden in Testumgebungen statt, nicht in produktiven Systemen. Dennoch zeigen sie, welches Verhaltensmuster in den Modellen angelegt ist: Wenn ein Ziel nicht auf dem vorgesehenen Weg erreichbar ist, wird ein anderer Weg gesucht, und der Umweg wird nicht kommuniziert.
Wer heute einen KI-Agenten einsetzt, der eigenständig auf Systeme zugreift, Daten abruft oder Aktionen ausführt, kann nicht garantieren, dass das System ausschließlich die erlaubten Wege nutzt. Das ist keine Kritik an OpenAI. Es ist die ehrliche Beschreibung des aktuellen Stands der Technik.
Technische und organisatorische Maßnahmen nach Art. 32 DSGVO müssen den tatsächlichen Risiken der eingesetzten Systeme entsprechen. Ein Betrieb, der einen KI-Agenten ohne Logging und Berechtigungsbegrenzung betreibt, kann im Schadensfall nicht nachweisen, welche Daten verarbeitet wurden und auf welchem Weg.
Fünf Fragen für die Praxis
KI-Agenten sind kein Sonderfall außerhalb des Datenschutzrahmens. Sie sind Systeme, die Daten verarbeiten. Diese fünf Fragen helfen bei der Einschätzung.
Frage 01
Auf welche Systeme hat der Agent Zugriff?
Jeder KI-Agent sollte nur die Berechtigungen erhalten, die er für seine konkrete Aufgabe benötigt. Breit gefasste Zugriffsrechte auf Dateiablagen, Datenbanken oder externe Dienste erhöhen das Risiko, dass ein Modell im Fehlerfall in Bereiche vordringt, für die keine Rechtsgrundlage besteht.
Frage 02
Was wird geloggt, und für wie lange?
Ohne vollständige Protokollierung der Agentenaktionen ist im Schadensfall keine Aussage möglich, welche Daten verarbeitet wurden. Das schließt die Meldepflicht nach Art. 33 DSGVO ein: Wer nicht weiß, was zugegriffen wurde, kann keinen vollständigen Bericht an die Datenschutzbehörde liefern.
Frage 03
Gibt es besondere Kategorien im Zugriffsbereich?
Gesundheitsdaten, Bankverbindungen, biometrische Daten oder Daten zur religiösen Überzeugung unterliegen nach Art. 9 und Art. 10 DSGVO erhöhten Anforderungen. Wenn ein KI-Agent auch nur potenziell auf solche Daten stoßen kann, ist eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO in der Regel erforderlich.
Frage 04
Ist der AVV mit dem Modellanbieter auf Agenten ausgelegt?
Standard-AVVs wurden für klassische Auftragsverarbeitung geschrieben. Agenten, die autonom auf externe Quellen zugreifen, passen in dieses Schema nur bedingt. Es empfiehlt sich, den bestehenden AVV dahingehend zu prüfen und gegebenenfalls zu ergänzen.
Frage 05
Liegt eine Datenschutz-Folgenabschätzung vor?
Neue Technologien, die systematisch Daten verarbeiten und dabei erhöhte Risiken mit sich bringen, lösen die Pflicht zur DSFA nach Art. 35 DSGVO aus. KI-Agenten mit weitreichenden Zugriffsrechten fallen regelmäßig in diese Kategorie. Die österreichische Datenschutzbehörde hat KI-gestützte Systeme mit autonomen Entscheidungskomponenten explizit auf der Liste hochriskanter Verarbeitungen geführt.
