KI-Flash: Marktüberwachung und KI - Wer kontrolliert zukünftig wen?

Das Bundesministerium für Wirtschaft und Klimaschutz und das Bundesministerium der Justiz veröffentlichten kürzlich den Referentenentwurf eines Gesetzes zur Durchführung der europäischen KI-Verordnung (KI-VO). Zwar ist die KI-VO bereits in aller Munde und die ersten Regelungen sind ab Februar diesen Jahres zu befolgen, allerdings erfordern verschiedene Regelungen noch die Umsetzung auf nationaler Ebene. So muss jeder Mitgliedsstaat eine notifizierende Behörde und eine Marktüberwachungsbehörde benennen. 

Der Referentenentwurf zielt – ebenso wie die Verordnung – darauf ab, einen einheitlichen Binnenmarkt für KI-gestützte Waren und Dienstleistungen zu schaffen. Dabei wird ein besonderes Augenmerk auf die Förderung von Innovationen gelegt, wobei gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, gewährleistet werden soll.

Regelungsinhalt des geplanten Umsetzungsgesetz

Im Rahmen des KI-Durchführungsgesetzes soll die Bundesnetzagentur als zentrale Marktüberwachungsbehörde und Anlaufstelle gemäß Artikel 70 (Abs. 2 S. 3) der KI-Verordnung (KI-VO) etabliert werden. Die Behörde würde dann auch als zentrale Beschwerdestelle fungieren. Sie würde zudem die in den Artikeln 57 und 58 der KI-VO genannten Reallabore betreiben und ein Koordinierungszentrum einrichten, um andere zuständige Behörden in ihren Aufgaben zu unterstützen. Des Weiteren wird eine unabhängige Stelle bei der Behörde eingerichtet werden, die auch in den Fällen des Artikels 74 Abs. 8 KI-VO die Marktüberwachung übernimmt. Die Kammer wird eine wesentliche Rolle bei der Kontrolle der Durchführung von Tests für Hochrisiko-KIs spielen. Das Ziel dabei ist es, die Expertise in Bezug auf Künstliche Intelligenz (KI) zu bündeln und den bestehenden Behörden ressourcenschonend zur Verfügung zu stellen. 

Hinsichtlich der Sicherstellung der Unabhängigkeit der Marktüberwachung wurden verschiedene Umsetzungsmodelle geprüft. Bei der Entscheidung für die jetzige Lösung, die sich am Prinzip der bestehenden Beschwerdekammer orientiert, soll es sich basierend auf einer Abwägung der rechtlichen Anforderungen und der praktischen Umsetzbarkeit um die zweckdienlichste Lösung handeln.

Der Entwurf regelt in § 7, dass diejenigen Behörden, die durch Bundes- oder Landesrecht zu Marktüberwachungsbehörden zur Ausführung der in Anhang I Abschnitt A der Verordnung genannten Harmonisierungsrechtsvorschriften bestimmt wurden (bspw. Richtlinie 2009/48/EG, Richtlinie 2013/53/EU oder Richtlinie 2014/53/EU, die auf die jeweils nach Landesrecht zuständigen Behörden oder etwa das Bundesamt für Verbraucherschutz und Lebensmittelsicherheit oder das Bundesministerium für Verteidigung), auch die Aufgaben als zuständige Marktüberwachungsbehörden wahrnehmen sollen, wenn KI-Systeme mit Produkten in Zusammenhang stehen, auf die die im Anhang I Abschnitt A genannten Vorschriften Anwendung finden. Dies soll für eine nahtlose Integration der bestehenden regulatorischen Strukturen in die Umsetzung der KI-Verordnung sorgen. 

Die Sanktionsvorschriften der KI-VO (Artikel 99 Abs. 3 bis 5 KI-VO) werden dadurch in nationales Recht umgesetzt, dass die Vorschriften des Gesetzes über Ordnungswidrigkeiten (mit Ausnahme von § 17 OWiG) hierauf entsprechend Anwendung finden sollen.

Offene Punkte und Kritik

Der Referentenentwurf wirft allerdings verschiedene Fragen und Bedenken auf. Im Mittelpunkt stehen dabei die Auswahl der Behörde und die praktische Umsetzung der vorgesehenen Zuständigkeiten, die sowohl rechtliche, als auch Probleme hinsichtlich der föderalen Struktur in Deutschland mit sich bringen. 

1) Bundesnetzagentur als zentrale Aufsichtsbehörde 

Ein wesentlicher Punkt des Entwurfs ist die Entscheidung, die Bundesnetzagentur (BNetzA) als zentrale Aufsichtsbehörde für die Umsetzung der KI-VO zu benennen. Diese Wahl ist nicht unumstritten und führt zu Diskussionen hinsichtlich der praktischen Umsetzbarkeit und der rechtlichen Rahmenbedingungen. Alternativ hatte sich in der Vergangenheit die Bundesdatenschutzbehörde (Die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit [BfDI]) für diese Aufgabe angeboten. 

Gegen die BfDI wird angeführt, dass ihre Expertise primär auf dem Datenschutz und nicht auf die technische Marktüberwachung von KI ausgerichtet ist. Für die BNetzA sprächen hingegen Argumente des technischen Know-hows und der einheitlichen Auslegung der Vorschriften. Die BNetzA verfüge bereits über umfangreiche Kompetenzen im Bereich der Produktsicherheit, insbesondere im Hinblick auf KI-Modelle und deren Funktionsweise. Zudem führe die Kompetenzübertragung an eine einzelne Behörde zu einer einheitlichen Auslegung und Anwendung der Vorgaben der KI-Verordnung. Als weiterer Aspekt wurde angeführt, dass so eine sektorale Zersplitterung vermieden werden solle und eine praxistaugliche, bürokratiearme und innovationsfreundliche Umsetzung der KI-VO gewährleistet werden könne. Insbesondere der Umstand, dass es an ausreichenden KI-Fachkräften fehle, spräche gegen eine Aufteilung auf verschiedene Behörden.

2) Vereinbarkeit mit Art. 74 Abs. 8 KI-VO 

Unsicherheit besteht jedoch, ob die Anforderungen des Artikels 74 Abs. 8 der KI-VO hinreichend Beachtung gefunden haben. Dieser legt fest, dass in Bezug auf die Marktüberwachung von Hochrisiko-KI-Systemen, die in sicherheitsrelevanten Bereichen wie Strafverfolgung, Grenzmanagement sowie Justiz und Demokratie eingesetzt werden, die zuständige Behörde die Bedingungen der JI-Datenschutzrichtlinie (EU) 2016/680, insbesondere des Artikels 41 bis 44, umsetzen muss. Diese Richtlinie legt fest, dass die Verarbeitung personenbezogener Daten durch die Behörden rechtmäßig, zweckgebunden und sicher erfolgen muss. Sie sieht ausdrücklich vor, dass unabhängige Aufsichtsbehörden für die Überwachung der Anwendung der Richtlinie eingesetzt werden.

Laut Begründung des KI-Durchführungsgesetzes würde die Regelung in § 3 Abs. 5, wonach die Marktüberwachungskammer völlig unabhängig handelt und weder direkten noch indirekten Beeinflussungen oder Weisungen unterliegt, die Unabhängigkeit der Behörde gemäß den Anforderungen von Artikel 41 Abs. 2 der JI-Datenschutzrichtlinie gewährleisten. Insoweit werde durch § 3 Abs. 3 und 4 die Umsetzung der Anforderungen aus den Artikeln 41 – 44 der JI-Datenschutzrichtlinie gewährleistet. Der Referentenentwurf berücksichtigt also die JI-Datenschutzrichtlinie, es wäre jedoch auch weiterhin eine konsequente Anwendung und Überprüfung der hohen Anforderungen nötig, um den entsprechenden Datenschutzstandard bei der Überwachung von Hochrisiko-KI zu gewährleisten.

3) Konflikt mit der föderalistischen Struktur 

Eine weitere Herausforderung, der sich die geplanten Regelungen stellen werden müssen, betrifft die föderalistische Kompetenzverteilung und verfassungsrechtlich garantierte Eigenstaatlichkeit der Länder in Deutschland. Die Bundesnetzagentur als zentrale Marktüberwachungsbehörde hätte weitreichende Kontrollbefugnisse über Landesbehörden. In der Praxis wird dies in der Regel durch einen föderal strukturierten Behördenaufbau umgesetzt, der die Zuständigkeiten auf Bundes- und Landesebene wahrt, wie etwa im Datenschutz.

Die hohe Vielschichtigkeit und Komplexität der KI-Regelung mögen einer dem Datenschutz ähnlichen Umsetzung entgegenstehen. Für die geplante Einrichtung einer gemeinsamen KI-Aufsicht wäre jedoch ein Staatsvertrag zwischen Bund und Ländern erforderlich, um so eine ausreichende Rechtsgrundlage für die Durchbrechung der Eigenstaatlichkeit zu schaffen. Mittels Staatsvertrag können Bund und Länder Kompetenzen und die Koordinierung von Aufgabenerfüllungen regeln und verteilen. Hierfür bedürfte es allerdings eines erheblichen Begründungs- und Verwaltungsaufwandes, sodass fraglich erscheint, dass dies wirklich eine sinnvolle und zeitnah umsetzbare Lösung wäre. 

Wie geht es weiter?

Die Umsetzung des KI-Durchführungsgesetzes eilt: Die Mitgliedsstaaten der EU sind verpflichtet, die Durchführungsgesetzgebung bis zum 2. August 2025 abzuschließen. Angesichts des bevorstehenden Regierungswechsels bleibt abzuwarten, wie die neue Regierung mit dem Entwurf umgehen wird und zu wann er in Kraft treten wird. Es bleibt mithin spannend!