KI-Flash: Europäischer Datenschutzausschuss (EDSA) äußert sich zu KI-Modellen

Nachdem wir in einem vorangegangenen KI-Flash bereits umfassend zu KI und Betroffenenrechten berichtet haben, möchten wir nunmehr detailliert auf die Stellungnahme 28/2024 zu bestimmten Datenschutzaspekten im Zusammenhang mit der Verarbeitung personenbezogener Daten im Rahmen von KI-Modellen des Europäischen Datenschutzausschusses (EDSA) eingehen.

Heutiges Thema: Europäischer Datenschutzausschuss (EDSA) äußert sich zu KI-Modellen 

Der EDSA hat sich am 18. Dezember 2024 in seiner Stellungnahme 28/2024 umfassend zu verschiedenen datenschutzrechtlichen Aspekten bei der Verarbeitung personenbezogener Daten im Rahmen von KI-Modellen geäußert. Neben der Frage, ob ein KI-Modell für sich genommen als anonymisiert angesehen werden kann, wurden insbesondere Rahmenbedingungen zur Interessenabwägung nach Art. 6 Abs. 1 lit. f) DS-GVO sowie Folgen datenschutzrechtlicher Verstöße bei der Entwicklung eines KI-Modells behandelt.

Hintergrund der Stellungnahme war ein Antrag der irischen Datenschutzaufsichtsbehörde (vgl. hierzu Art. 64 Abs. 2 DS-GVO), welche im Rahmen zweier Verfahren gegen Meta und X gleich mehrere Fragen aus datenschutzrechtlicher Sicht zu beantworten hatte. Da die dort aufgegriffenen und nunmehr durch den EDSA behandelten Fragestellungen äußerst praxisrelevant sind (da sie die Leitplanken für künftige Bewertungen der Datenschutzaufsichtsbehörden darstellen), soll nachstehend ein Überblick zu den wichtigsten Kernaussagen erfolgen.

1. Sind KI-Modelle anonymisiert?

Im ersten Themenpunkt widmet sich der EDSA in seiner Stellungnahme der Frage nach einem möglichen Personenbezug (Art. 4 Abs. 1 DS-GVO) von KI-Modellen.

Fragestellung und Einordnung 

Konkret lautete die dem EDSA von der irischen Datenschutzbehörde vorgelegte Frage: „Wird davon ausgegangen, dass das endgültige KI-Modell, das unter Verwendung personenbezogener Daten trainiert wurde, in allen Fällen nicht der Definition des Art. 4 Abs. 1 DSGVO personenbezogener Daten entspricht?“. 

Damit wird eine Frage aufgeworfen, der wir uns bereits in unserem oben angeführten KI-Flash zu KI und Betroffenenrechten Aufmerksamkeit gewidmet haben. Dort haben wir untersucht, ob und inwieweit der Betreiber eines KI-Systems die Betroffenenrechte aus den Art. 15 ff. der DS-GVO zu beachten hat. Betroffenenrechte sind vom Verantwortlichen nämlich nur dort umzusetzen, wo eine Verarbeitung personenbezogener Daten stattfindet. Artikel 4 Absatz 1 DS-GVO definiert personenbezogene Daten hierbei als "alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person („betroffene Person“) beziehen". 

Im Zusammenhang mit KI ist hier zu differenzieren: Unproblematisch werden personenbezogene Daten dort verarbeitet, wo sie als Prompt bzw. Input in eine benutzbare KI-Anwendung („KI-System“) eingegeben werden. Gibt das KI-System als Output personenbezogene Informationen aus, z.B. indem ein Large Language Modell diese Informationen generiert, liegt auch darin ohne Weiteres eine Verarbeitung personenbezogener Daten vor. Schließlich ist auch klar, dass das Training eines KI-Modells – also dem hinter einem KI-System stehenden Rechenalgorithmus – mit personenbezogenen Daten (z.B. Training eines KI-Modells mit Gesprächsaufzeichnungen) eine Datenverarbeitung im Sinne der DS-GVO darstellt. 

Nicht so einfach zu beantworten und von den Datenschutzaufsichtsbehörden bislang unterschiedlich gehandhabt, ist aber die Frage, ob das vom KI-System isoliert betrachtete KI-Modell NACH Abschluss des Trainings mit personenbezogenen Daten als solches noch (oder schon) einen Personenbezug aufweist. Sind die personenbezogenen Trainingsdaten in einem fertig trainierten KI-Modell noch enthalten? Die verschiedenen Ansichten der Datenschutzaufsichtsbehörden hierzu haben wir bereits dargestellt, wobei eine strikte Trennung zwischen Modell und System nicht immer konsequent eingehalten wurde. 

Der EDSA hat sich nun zu genau dieser Frage geäußert und Kriterien aufgestellt, unter denen sich die Anonymität eines KI-Modells zumindest in der Theorie nachweisen lässt. Der EDSA gibt aber auch deutlich zu verstehen: Eine Vielzahl von KI-Modellen ist nicht als anonym anzusehen! 

Kriterien für die Anonymität von KI-Modellen

Bemerkenswert ist zunächst, dass der EDSA nicht auf die generelle Fähigkeit des KI-Modells, „irgendwelche“ personenbezogene Informationen zu generieren, abstellt. Entscheidend ist für den EDSA vielmehr, ob sich im Speziellen die ursprünglichen (personenbezogenen) Trainingsdaten in dem Modell wiederfinden. In der Regel werden sich aus fertig trainierten KI-Modellen keine Trainingsdatensätze als solche extrahieren lassen. Die Trainingsdaten können aber unter Umständen in den Parametern des Algorithmus „absorbiert“ sein. Letztlich kommt es auf eine Einzelfallprüfung an, bei welcher der (potenziell) Verantwortliche in der Darlegungspflicht ist. Die bloße Behauptung der Anonymität eines KI-Modells ist jedenfalls nicht ausreichend.

Einige KI-Modelle sind von vornherein dafür ausgelegt, personenbezogene Daten über Personen bereitzustellen, deren Daten zum Trainieren des Modells verwendet wurden. Der EDSA ist der Ansicht, dass solche KI-Modelle „von Natur aus (und in der Regel zwangsläufig)“ die Verarbeitung personenbezogener Daten beinhalten. Daher können diese Arten von KI-Modellen nicht als anonym angesehen werden. Dieser Fall könnte nach unserer Einschätzung etwa auch dann vorliegen, wenn ein großes – vielleicht zunächst anonymes – KI-Modell im Rahmen eines Finetunings auf Informationen zu bestimmten Personen „spezialisiert“ wird.

Damit ein mit personenbezogenen Daten trainiertes KI-Modell im Übrigen als anonym angesehen werden kann, muss vom Verantwortlichen nachgewiesen werden, dass es fernliegend ist, dass personenbezogene Trainingsdaten 

• direkt (d.h. in der Regel ohne Rückgriff auf Schnittstellen) aus den Parametern des KI-Modells abgeleitet oder
• indirekt durch entsprechenden Input / Prompt absichtlich oder unabsichtlich in den Ausgaben des KI-Modells wiedergegeben werden können.

Bewertungsmaßstab 

Diese beiden Möglichkeiten müssen nach Ansicht des EDSA nicht zu 100 % ausgeschlossen sein. Vielmehr kommt es auf die Wahrscheinlichkeit ihres Eintritts an, die von dem Verantwortlichen bewertet werden muss, und zwar unter Berücksichtigung "aller Mittel, die nach vernünftigem Ermessen von dem für die Verarbeitung Verantwortlichen oder einer anderen Person eingesetzt werden können", einschließlich der unbeabsichtigten (Wieder-)Verwendung oder Offenlegung des Modells.

Der EDSA nimmt dabei Bezug auf Erwägungsgrund 26 der DS-GVO, in dem es heißt: „Bei der Feststellung, ob Mittel nach allgemeinem Ermessen wahrscheinlich zur Identifizierung der natürlichen Person genutzt werden, sollten alle objektiven Faktoren, wie die Kosten der Identifizierung und der dafür erforderliche Zeitaufwand, herangezogen werden, wobei die zum Zeitpunkt der Verarbeitung verfügbare Technologie und technologische Entwicklungen zu berücksichtigen sind.“. 

Konkrete Bewertungskriterien, die sich daraus ableiten lassen, sind: 

• Umfang und Qualität der genutzten Trainingsdaten (vgl. auch das Problem des sog. „Overfitting“), 
• Getroffene Maßnahmen zur Vermeidung von personenbezogenen Ausgaben (z.B. „Abtrainieren“ von personenbezogenen Aussagen / Filtering),
• Kontrollprozesse des Entwicklers (z.B. „Whitehacking“ / Penetrationstests),
• datenschutzrechtliche Dokumentationen (z.B. Datenschutz-Folgenabschätzungen).

Zahlreiche Forschungsarbeiten haben gezeigt, dass KI-Modelle anfällig für verschiedene Arten von Angriffen sind. Dazu gehören insbesondere sog. „Membership Inference Attacks“ oder „Rekonstruktionsangriffe“. Membership Inference Attacks können (in der Praxis etwa von Urhebern) genutzt werden, um Rückschlüsse auf bestimmte verwendete Trainingsdaten zu ziehen. Rekonstruktionsangriffe ermöglichen unter Umständen sogar die vollständige Rekonstruktion von Trainingsdaten. Verantwortliche können daher, um die Anonymität ihres KI-Modells zu überprüfen, unter anderem auf testweise Angriffe dieser Art zurückgreifen (White Hacking / Penetrationstests). 

Je wahrscheinlicher ein erfolgreiches Zurückführen personenbezogener Trainingsdaten nach diesen Bewertungskritierien ist, desto eher liegt auch ein Personenbezug des jeweiligen KI-Modells vor. Durch die Stellungnahme des EDSA liegen nun erste verbindliche Ansätze für eine Bewertung der Anonymität eines KI-Modells vor. Wie die konkret anzulegenden Prüfungsmaßstäbe allerdings in der Praxis der Datenschutzaufsichtsbehörden gehandhabt werden, bleibt abzuwarten. 

2. Kriterien zur Interessenabwägung nach Art. 6 Abs. 1 lit. f) DS-GVO

Die Stellungnahme des EDSA widmet sich als weiteren Schritt umfassend der Frage des berechtigten Interesses nach Art. 6 Abs. 1 lit. f) DS-GVO als Rechtsgrundlage für die Verarbeitung personenbezogener Daten während der Entwicklungs- und Einführungsphase von KI-Modellen. Richtigerweise spricht sich der EDSA grundsätzlich ausdrücklich für die Möglichkeit der Rechtfertigung auf Grundlage von Art. 6 Abs. 1 lit. f) DS-GVO aus. Die Bandbreite der erörterten Szenarien und die Vielzahl der in die Interessenabwägung einzubeziehenden, aufgezeigten Faktoren sind auch zweifelsohne hilfreich. Die konkreten Schlussfolgerungen im Rahmen der Interessenabwägung und damit zur datenschutzrechtlichen Rechtmäßigkeit bleiben jedoch oftmals an der Oberfläche.

Grundlagen zur Interessenabwägung

Nach Art. 6 Abs. 1 lit. f) DS-GVO ist eine Verarbeitung personenbezogener Daten zulässig, wenn die Verarbeitung zur Wahrung berechtigter Interessen des Verantwortlichen oder eines Dritten erforderlich ist und nicht die Interessen des Betroffenen am Schutz seiner personenbezogenen Daten überwiegen.

Im Rahmen der Abwägung dieser Interessen orientiert sich der EDSA am Dreistufentest: (i) Ermittlung des berechtigten Interesses, (ii) Prüfung der Erforderlichkeit und (iii) Abwägung.

Vorliegen berechtigter Interessen

Das Vorliegen eines berechtigten Interesses ist bereits dann per se ausgeschlossen, wenn die jeweilige Verarbeitung gegen die allgemeinen Datenschutzprinzipien verstößt. Konsequenterweise beleuchtet der EDSA einige dieser Datenschutzprinzipien im Kontext von KI-Modellen bevor es in die Prüfung der Ermächtigungsgrundlage des 6 Abs. 1 lit. f) DS-GVO einsteigt. So wird vor dem Hintergrund des Transparenzgrundsatzes und der Komplexität der Technologie besonders betont, dass die Rechtmäßigkeitsprüfung einerseits eine Aufteilung in verschiedene Phasen erfordert (insbesondere Entwicklungs- und Einführungsphase) und andererseits verständliche Informationen über die Datenverarbeitungsprozesse bereitgestellt werden müssen. Dies schließt – sofern automatische Entscheidungsfindungen involviert sind – auch Erläuterungen zur zugrundeliegenden Logik, zur Bedeutung sowie zu den voraussichtlichen Folgen der Verarbeitung ein. Im Kontext von Web-Scraping sei die Ausnahmeregelung nach Art. 14 Abs. 5 lit. b) DS-GVO, wonach die Betroffeneninformationen dann unterbleiben können, wenn sich dies als unmöglich oder unverhältnismäßig erweist, streng und sorgfältig zu prüfen.

Die Verarbeitung personenbezogener Daten müsse zudem auf das notwendige Minimum beschränkt werden. Hinsichtlich der Zweckbestimmung und der Bewertung, ob die Datenverarbeitung mit dem Grundsatz der Datenminimierung vereinbar ist, empfiehlt der EDSA, erneut die jeweilige Phase (Entwicklung oder Einführung) sowie den spezifischen Einsatzkontext des KI-Modells zu unterscheiden. Selbstverständlich – und dennoch von zentraler Bedeutung bei der Gesamtkonzeption von Entwicklung und Einsatz von KI-Modellen – sind stets auch die Rechte der Betroffenen zu wahren. Dies umfasse speziell im Rahmen einer Verarbeitung nach 6 Abs. 1 lit. f) DS-GVO die Sicherstellung des Widerspruchsrechts gemäß Art. 21 DS-GVO.

Sodann führt der EDSA als Beispiele für berechtigte Interessen im Zusammenhang mit KI ausdrücklich die Entwicklung von Chatbots zur Nutzerunterstützung, die Erkennung betrügerischer Inhalte oder Verhaltensweisen sowie die Verbesserung der Bedrohungserkennung in Informationssystemen an.

Erforderlichkeit der Datenverarbeitung

Personenbezogene Daten dürfen nur verarbeitet werden, wenn der Verarbeitungszweck auf keine andere Weise erreicht werden kann (Analyse der Erforderlichkeit der Verarbeitung). Im Kontext von KI-Modellen ist hierbei besonderes Augenmerk auf die Entwicklungsphase zu legen und zu prüfen, ob die Verarbeitung in Bezug auf das berechtigte Interesse verhältnismäßig ist – insbesondere unter Berücksichtigung des Grundsatzes der Datenminimierung. Sollte der Zweck auch durch ein KI-Modell erreicht werden können, das keine personenbezogenen Daten verarbeitet, wäre die Verarbeitung dieser Daten als nicht erforderlich einzustufen. Weiterhin ist zu berücksichtigen, ob eine Beziehung zwischen Verantwortlichem und betroffener Person besteht (z. B. bei Erstdaten) oder ob Daten Dritter verwendet werden. Technische Schutzmaßnahmen wie Pseudonymisierung oder eine Begrenzung der Identifizierbarkeit von Betroffenen könnten dazu beitragen, die Notwendigkeit der Verarbeitung zu rechtfertigen.

Abwägung der Interessen

Im dritten Schritt, der Abwägung, gilt es, zunächst die Interessen, Grundrechte und Freiheiten der betroffenen Personen in den Fokus zu nehmen. Der EDSA legt hierbei besonderes Gewicht auf das Recht der Betroffenen, Kontrolle über ihre personenbezogenen Daten auszuüben. Ergänzend können finanzielle Interessen, persönliche Vorteile oder sozioökonomische Aspekte eine Rolle spielen. Auch Risiken für Grundrechte wie Meinungsfreiheit, Antidiskriminierung, Sicherheit oder körperliche und geistige Unversehrtheit werden thematisiert. Positiv seien KI-Modelle zu bewerten, die beispielsweise schädliche Inhalte identifizieren oder den Zugang zu Informationen und Bildung fördern.

Bei der Prüfung der Auswirkungen der Verarbeitung auf die betroffenen Personen – ein zentraler Aspekt der Abwägung – ist unter anderem auf die Kategorien der verarbeiteten Daten einzugehen (z. B. Art. 9, 10 DS-GVO, Finanz- oder Standortdaten). Im Fall von Web-Scraping attestiert der EDSA der Entwicklungsphase erhebliche datenschutzrechtliche Risiken für den Einzelnen, die es zu mitigieren gilt. Dies ist auf das große Volumen der erhobenen Daten, die Vielzahl der betroffenen Personen und die wahllose Erhebung personenbezogener Daten zurückzuführen. Auch mögliche rechtsverletzende Folgen der Verarbeitung sowie deren Eintrittswahrscheinlichkeit sind in die Bewertung einzubeziehen.

Bei KI-Modellen mit multiplen Einsatzmöglichkeiten, wie etwa generative KI, sollten durch gezielte Kontrollen schädliche Praktiken wie Deepfakes oder der Einsatz von Chatbots für Desinformation, Phishing oder andere betrügerische Aktivitäten so weit wie möglich ausgeschlossen werden.

Erwartungshaltung der betroffenen Personen

Der EDSA misst zudem den Erwartungen der betroffenen Personen eine besondere Bedeutung bei. Hier ist vor allem zu prüfen, ob die Betroffenen zum Zeitpunkt der Datenerhebung vernünftigerweise damit rechnen konnten, dass die Verarbeitung für den spezifischen Zweck erfolgt. Die bloße Erwähnung der Entwicklungsphase eines KI-Modells in Datenschutzrichtlinien sei laut EDSA nicht ausreichend, um diese Erwartung zu rechtfertigen. Entscheidend können auf dieser Ebene erneut die öffentliche Zugänglichkeit der Daten, die Beziehung zwischen Verantwortlichem und betroffener Person, der Erhebungskontext sowie die Datenquelle sein. Ein besonderes Augenmerk sollte daher daraufgelegt werden, Betroffene hinreichend konkret über diese Form der Verarbeitung ihrer Daten in Datenschutzhinweisen zu informieren. 

Abhilfemaßnahmen

Sollte die Interessenabwägung zu dem Ergebnis kommen, dass die Interessen der betroffenen Personen überwiegen, ist der Verantwortliche gehalten, durch Abhilfemaßnahmen die Auswirkungen der Datenverarbeitung auf die Rechte und Interessen der Betroffenen zu mildern. Diese Maßnahmen sollten auf den Einzelfall zugeschnitten sein und die relevanten Umstände, sowie die beabsichtigte Verwendung des KI-Modells berücksichtigen. Dabei handelt es sich um zusätzliche Maßnahmen des Datenschutzes, die über die ohnehin von der DS-GVO geforderten und zur Gewährleistung der Rechtsmäßigkeit einer Datenverarbeitung geschuldeten Maßnahmen hinausgehen. 

Die Stellungnahme enthält eine beispielhafte, nicht erschöpfende Liste von möglichen Abhilfemaßnahmen:

Bereits in der Entwicklungsphase von KI-Modellen können Maßnahmen zur Risikominimierung etabliert werden. Dazu gehören beispielsweise eine kontinuierliche wirksame technische Kontrolle des Modells oder eine angemessene Dokumentation der Verarbeitungsvorgänge. Auch die Pseudonymisierung der personenbezogenen Daten in Testdatensätzen kann die Risiken reduzieren.

Weitere vorgeschlagene Maßnahmen umfassen solche Maßnahmen, die die Ausübung der Betroffenenrechte erleichtern und dessen Kontrolle über die verarbeiteten Daten stärken. Hierzu zählen beispielsweise die Einhaltung eines angemessenen Zeitraums zwischen der Erhebung des Datensatzes nebst Betroffeneninformation und seiner Verwendung, um so dem Betroffenen Zeit zu geben, der Verwendung zu widersprechen. Ferner zählen hierzu die Einführung eines bedingungslosen „Opt-out“ oder umfassende Löschungsmöglichkeiten über die Anwendungsfälle des Art. 17 DS-GVO hinaus.

Auch können die Betroffenenrechte durch stärkere Transparenz in die Wirkweise, technische Grundlagen und Anwendungsmodelle der KI, Risk-Assessments und Interessenabwägungen sowie allgemeine Erläuterungen in die Funktionsweise von KI gestärkt werden. Auch öffentliche Informationskampagnen mögen dabei ein taugliches Mittel sein. 

Es ist bekannt, dass Web Scraping besondere datenschutzrechtliche Risiken birgt. Auch wenn bestimmte Mitigationsmaßnahmen für eine spezifische Verarbeitung nicht erforderlich sind, können diese die Rechte der Betroffenen stärken und damit im Rahmen einer Interessenabwägung Berücksichtigung (zugunsten des Verantwortlichen) finden. So kann durch eine technische Selektion der verwendeten Datensätze durch Ausschluss von Datenkategorien oder bestimmten Daten sowie Datenquellen bereits die Sensibilität der Verwendeten Daten kontrolliert werden. Auch lässt sich technisch die Verwendungsdauer und die Wiederverwendung bestimmter Daten reduzieren.   

3. Auswirkungen unrechtmäßiger Verarbeitung bei der Entwicklung eines KI-Modells

Die Stellungnahme des EDSA behandelt schließlich als letzte Frage, welche Auswirkungen eine unrechtmäßige Verarbeitung personenbezogener Daten in der Entwicklungsphase eines KI-Modells auf die nachfolgende Verarbeitung oder den Betrieb des KI-Modells (in einem KI-System) in datenschutzrechtlicher Hinsicht hat. In seiner Stellungname stellt der EDSA zunächst in allgemeinen Überlegungen klar, dass sich seine Überlegungen alleine auf die Unrechtmäßigkeit hinsichtlich der Rechenschaftspflicht gemäß Artikel 5 Abs. 1 lit. a) DS-GVO sowie einer fehlenden Rechtsgrundlage gemäß Art. 6 Abs. 1 DS-GVO des Verantwortlichen beziehen. Andere Verstöße gegen die DS-GVO wie beispielsweise gegen Transparenzpflichten durch den Verantwortlichen in der Entwicklungsphase oder bei dem Betrieb des KI-Modells (in einem KI-System) sind somit nicht umfasst. Außerdem wird nochmals betont, dass die Aufsichtsbehörden grundsätzlich einen eigenen Ermessensspielraum im jeweiligen Einzelfall haben, um geeignete, notwendige und verhältnismäßige Maßnahmen zu ergreifen. 

Der EDSA unterscheidet sodann die folgenden drei spezifischen Szenarien:

Szenario 1: Unrechtmäßige Verarbeitung und nachfolgende Verarbeitung durch denselben Verantwortlichen

Szenario 1 behandelt die Situation, in der ein für die Verarbeitung Verantwortlicher unrechtmäßig personenbezogene Daten verarbeitet (d.h. durch Nichtbeachtung von Artikel 5 Abs. 1 lit. a) DS-GVO und Art. 6 Abs. 1 DS-GVO), um ein KI-Modell zu entwickeln, und das KI-Modell hierbei Informationen über eine identifizierte oder identifizierbare natürliche Person enthält und somit nicht anonym ist. Personenbezogene Daten werden dann später von demselben für die Verarbeitung Verantwortlichen verarbeitet (beispielsweise im Zusammenhang mit dem Einsatz des Modells in einem KI-System).

Nach Meinung des EDSA, sollten sich mögliche Abhilfemaßnahmen, die durch die zuständige Aufsichtsbehörde für die ursprüngliche Verarbeitung (Entwicklung des KI-Modells) verhängt werden, grundsätzlich auch auf die nachfolgende Verarbeitung (Betrieb des KI-Modells in einem KI-System) beziehen. Es sei dabei eine Einzelfallanalyse erforderlich, um festzustellen, ob die Entwicklungs- und Einführungsphase getrennte Verarbeitungstätigkeiten darstellen und wie beispielsweise das Fehlen einer Rechtsgrundlage bei der ursprünglichen Verarbeitung die nachfolgende Verarbeitung beeinflusst. Sofern die nachfolgende Verarbeitung auf die Rechtsgrundlage der überwiegenden berechtigten Interessen gestützt werden soll, ist insbesondere zu bewerten, wie sich das Fehlen einer Rechtsgrundlage bei der ursprünglichen Verarbeitung auf die Interessenabwägung auswirkt – dies gilt es stets im Einzelfall zu bewerten.

Szenario 2: Unrechtmäßige Verarbeitung und nachfolgende Verarbeitung durch unterschiedliche Verantwortliche

Szenario 2 beschreibt die Situation, in der ein für die Verarbeitung Verantwortlicher unrechtmäßig personenbezogene Daten verarbeitet, um das Modell zu entwickeln, die personenbezogenen Daten werden dabei in dem Modell gespeichert (d.h. es liegt kein anonymes KI-Modell vor) und von einem anderen für die Verarbeitung Verantwortlichen im Zusammenhang mit dem Einsatz/Betrieb des KI-Modells (in einem KI-System) verarbeitet. Es unterscheidet sich insofern von Szenario 1, da personenbezogene Daten anschließend von einem anderen für die Verarbeitung Verantwortlichen im Zusammenhang mit der Einführung des KI-Modells verarbeitet werden.

Im Zusammenhang mit dem Szenario 2 erinnert der ESDA daran, dass gemäß Artikel 5 Abs. 1 lit. a) DS-GVO im Lichte von Artikel 5 Abs. 2 DS-GVO jeder für die Verarbeitung Verantwortliche die Rechtmäßigkeit der von ihm durchgeführten Verarbeitung sicherstellen und nachweisen können muss. Auch hier haben die Aufsichtsbehörden die Befugnis, Maßnahmen gegen die ursprüngliche Verarbeitung zu ergreifen. Der neue Verantwortliche muss daher im Rahmen seiner Rechenschaftspflicht eine angemessene Bewertung durchführen, um sich zu vergewissern, dass das KI-Modell nicht durch eine unrechtmäßige Verarbeitung personenbezogener Daten entwickelt wurde. Der Grad der Bewertung durch den für die Verarbeitung Verantwortlichen (und der zuständigen Aufsichtsbehörde) können in Abhängigkeit von verschiedenen Faktoren variieren, einschließlich der Art und des Ausmaßes der Risiken, die durch die Verarbeitung im KI-Modell während seiner Einführung in Bezug auf die betroffenen Personen, deren Daten zur Entwicklung des Modells verwendet wurden, entstehen. Die vorgeschriebene Konformitätserklärung bei Hochrisiko-KI-Systemen darf berücksichtigt werden, kann als Selbsterklärung des Anbieters aber keine zu große Rolle bei der Bewertung einnehmen. Im Übrigen gelten die Überlegungen zu Szenario 1.

Szenario 3: Unrechtmäßige Verarbeitung bei der Entwicklung und Anonymisierung vor weiterer Verarbeitung beim Einsatz/Betrieb des KI-Modells

Mit Szenario 3 stellt der EDSA Überlegungen zu der Situation an, in der ein für die Verarbeitung Verantwortlicher unrechtmäßig personenbezogene Daten verarbeitet, um das Modell zu entwickeln, und dann dafür sorgt, dass das Modell anonymisiert wird, bevor derselbe oder ein anderer für die Verarbeitung Verantwortlicher eine weitere Verarbeitung personenbezogener Daten im Zusammenhang mit dem Einsatz/Betrieb des KI-Modells (in einem KI-System) einleitet.

Nach den Überlegungen des EDSA findet die DS-GVO keine Anwendung für den Einsatz/Betrieb des KI-Modells in einem KI-System, wenn nachgewiesen werden kann, dass der spätere Betrieb keine Verarbeitung personenbezogener Daten mit sich bringt (das KI-Modell entsprechend als anonym einzustufen ist). In der Konsequenz hätte eine (datenschutzrechtliche) Rechtswidrigkeit der ursprünglichen Verarbeitung keine Auswirkungen auf den späteren Betrieb des Modells. Dabei betont der EDSA die Nachweispflicht des Betreibers – die bloße Behauptung einer Anonymität ist nicht ausreichend.

Des weiteren stellt der EDSA diesbezüglich fest, wenn die für die Verarbeitung Verantwortlichen anschließend personenbezogene Daten verarbeiten, die während der Errichtungsphase erhoben wurden, nachdem das Modell anonymisiert wurde, würde die DS-GVO in Bezug auf diese Verarbeitungstätigkeiten wiederum gelten. In diesen Fällen sollte die Rechtmäßigkeit der in der Errichtungsphase durchgeführten Verarbeitung nicht durch die Rechtswidrigkeit der ursprünglichen Verarbeitung beeinträchtigt werden.

4. Praxishinweis

Auf Grundlage der Stellungnahme des EDSA können sich daher folgende Auswirkungen auf die Praxis ergeben:

Anonymität von KI-Modellen

Der EDSA betont, dass die Anonymität eines KI-Modells nicht regelmäßig angenommen werden kann. Um sicherzustellen, dass KI-Modelle als anonymisiert gelten, wäre es daher wichtig, dass diesbezüglich eine detaillierte Einzelfallprüfung durchgeführt wird. Hierfür wäre es notwendig, umfassende technische und organisatorische Prüfungen durchzuführen, um nachzuweisen, dass personenbezogene Trainingsdaten nicht direkt oder indirekt aus dem Modell extrahiert werden können. Dies schließt kontinuierliche technische Kontrollen wie Penetrationstests und "White Hacking" ein, um die Sicherheit und kontinuierliche Anonymität des KI-Modells zu gewährleisten. 

Kriterien zur Interessenabwägung nach Art. 6 Abs. 1 lit. f) DS-GVO

Der EDSA hebt klar die Bedeutung von Transparenz und verständlicher Information über die Datenverarbeitungsprozesse hervor. Ein zentraler Aspekt bei der Verarbeitung personenbezogener Daten im Rahmen der Entwicklung und Einführung von KI-Modellen ist die transparente Dokumentation und Information der Betroffenen. Dafür ist es erforderlich, die Interessenabwägung klar zu dokumentieren und die Betroffenen umfassend und verständlich über die Verarbeitung ihrer Daten zu informieren. Dies gilt insbesondere für die Entwicklungs- und Einführungsphase von KI-Modellen.

Darüber hinaus sollte die Verarbeitung personenbezogener Daten auf das notwendige Minimum beschränkt werden, um den Datenschutzgrundsatz der Datenminimierung zu erfüllen. Es ist wichtig, regelmäßig die Erforderlichkeit der Datenverarbeitung zu prüfen und technische Maßnahmen wie Pseudonymisierung einzusetzen, um die Datenminimierung sicherzustellen. Nur wenn die Verarbeitung personenbezogener Daten tatsächlich erforderlich ist, kann sie gemäß Art. 6 Abs. 1 lit. f) DS-GVO gerechtfertigt werden.

Auswirkungen unrechtmäßiger Verarbeitung bei der Entwicklung eines KI-Modells

Die Einhaltung der Rechenschaftspflicht ist diesbezüglich von zentraler Bedeutung, insbesondere wenn es um die unrechtmäßige Verarbeitung personenbezogener Daten in der Entwicklungsphase eines KI-Modells geht. Unrechtmäßige Verarbeitung in der Entwicklungsphase kann erhebliche Auswirkungen auf die nachfolgende Verarbeitung und den Betrieb des KI-Modells haben. Daher ist es entscheidend, klare Richtlinien und Prozesse zur Erkennung und Behebung unrechtmäßiger Verarbeitungen zu entwickeln und diese Maßnahmen umfassend zu dokumentieren bzw. vor Einsatz prüfen zu können.

Ein weiterer wichtiger Punkt ist der Nachweis der Anonymität, sofern einschlägig, vor der weiteren Verarbeitung (Betrieb des KI-Modells in einem KI-System). Nur wenn nachgewiesen werden kann, dass ein KI-Modell tatsächlich anonymisiert wurde, hat eine unrechtmäßige Verarbeitung in der Entwicklungsphase keine Auswirkungen auf den späteren Betrieb. Es ist unerlässlich, dass dieser Nachweis der Anonymität vor der weiteren Verarbeitung erbracht und dokumentiert wird.