KI-Flash: Leitlinien der Europäischen Kommission zu verbotenen Praktiken gemäß Art. 5 KI-Verordnung

Seit dem 2. Februar 2025 sind die Vorschriften der KI-VO zu verbotenen KI-Systemen, nämlich solchen, die ein unannehmbares Risiko darstellen, zu beachten. 

Im Februar diesen Jahres hat die Europäische Kommission nun Leitlinien zu verbotenen Praktiken gemäß Art. 5 der KI-Verordnung (KI-VO) veröffentlicht. Die KI-VO verfolgt einen risikobasierten Ansatz, der einen umfangreichen Katalog an verbotenen Praktiken im Bereich der Künstlichen Intelligenz definiert (Art. 5 KI-VO). Art. 5 KI-VO regelt ein Verbot für bestimmte KI und sanktioniert Zuwiderhandlungen mit Geldbußen von bis zu 35 Millionen Euro und bei Unternehmen alternativ von bis zu 7% des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres. Entsprechend auslegungsfeindlich dürften die entsprechenden Bestimmungen sein. Dennoch enthält die Regelung einige unbestimmte Rechtsbegriffe.

Die Leitlinien nehmen sich nunmehr dieser Thematik an, indem sie unverbindliche Ausführungen über Begriffsbestimmungen, Anwendungsverhältnisse und Durchsetzungsmöglichkeiten bieten. In diesem Beitrag erfolgt ein grober Überblick über die einzelnen Verbote. Für eine ausführliche Zusammenfassung der Leitlinien und eine detaillierte Erläuterung der Vorschriften aus Art. 5 KI-VO empfehlen wir unser Whitepaper, das kurzfristig als Download zur Verfügung gestellt wird.

Art. 5 Abs. 1 a) KI-VO: KI-Systeme, die Personen außerhalb ihres Bewusstseins beeinflussen oder absichtlich manipulative oder täuschende Techniken einsetzt 

Nach dieser Vorschrift ist es verboten, eine unterschwellige Beeinflussung außerhalb des Bewusstseins einer Person oder die absichtliche Manipulation mittels KI vorzunehmen. Die Leitlinien geben vor, dass hier vor allem die Einflussnahme in erheblichem Maße auf die Entscheidungsfähigkeit einer Person gemeint ist, ohne dass diese es bewusst wahrnimmt und dadurch ein materieller oder immaterieller Schaden verursacht wird oder mit hoher Wahrscheinlichkeit verursacht werden könnte. Als manipulative Techniken gelten also unterschwellige Techniken, die sich dem Bewusstsein einer Person entziehen, gezielt manipulative und täuschende Techniken. Der Betroffene trifft dementsprechend eine auf Zwang, Manipulation oder Täuschung basierende Entscheidung, die er normalerweise so nicht getroffen hätte. Zudem ist es erforderlich, dass ein Kausalzusammenhang zwischen dem Verhalten und der Manipulation vorliegt.

Art. 5 Abs. 1 b) KI-VO: KI-Systeme, die eine Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person ausnutzen

In engem Zusammenhang mit dem obigen Verbot steht das Verbot, mittels KI-System die Vulnerabilität oder Schutzbedürftigkeit von Personen auszunutzen. Als besonders schutzbedürftig in diesen Zusammenhang gelten ältere Menschen, Kinder, Arbeitsunfähige und Personen aus besonderen sozioökonomischen Situationen, wie z.B. extremer Armut. Beispielhaft verweisen die Leitlinien auf digitale Spielzeuge, die gezielte manipulative Mechanismen nutzen um exzessiven Konsum oder risikobehaftetes Verhalten zu fördern. Auch hier kommt es zum Greifen des Verbots auf einen hinreichenden Kausalzusammenhang und materiellen oder immateriellen Schadenseintritt an.

Bei den beiden oben genannten Verboten kommt es erheblich auf eine Abgrenzung zwischen unzulässiger Manipulation und legitimer Überzeugungsarbeit an. Die Trennlinie soll bei transparenter Überzeugung samt Bereitstellung sachlicher Informationen und der Respektierung der eigenen Entscheidungsfreiheit liegen.

Art. 5 Abs. 1 c) KI-VO: KI-Systeme zur Bewertung oder Einstufung von Personen auf der Grundlage ihres sozialen Verhaltens oder persönlicher Eigenschaften

Mithin verboten sind KI-Systeme, die eine soziale Bewertung von Personen auf Grundlage von Daten über ihr Sozialverhalten oder persönlicher Merkmale vornehmen und dadurch eine Benachteiligung oder Schlechterstellung in einem sozialen Kontext, der in keinem Zusammenhang mit der Datenerhebung steht, erwirken. Weiterhin muss die Auswirkung unverhältnismäßig und ungerechtfertigt im Hinblick auf die Tragweite des sozialen Verhaltens sein. Die relevanten Daten für dieses Verbot sind in der Regel verhaltensbezogen, sodass sie also im Allgemeinen Handlungen, Verhalten, Gewohnheiten innerhalb der Gesellschaft oder Informationen über Geschlecht, Ethnie, familiäre Situation, etc. beinhalten. Auch hier kommt es auf einen Kausalzusammenhang zwischen Bewertung und Benachteiligung und einem Nachteilseintritt an.

Art. 5 Abs. 1 d) KI-VO: Durchführung von Risikobewertungen einer Person hinsichtlich der Begehung einer Straftat 

Art. 5 Abs. 1 d) KI-VO regelt das Verbot von KI-Systemen zur Durchführung von Risikobewertungen hinsichtlich der Begehung einer Straftat. Hierbei geht es um eine individuelle Risikobewertung und Vorhersage von Strafdelikten, ausschließlich auf Grundlage von Profiling oder der Bewertung von Persönlichkeitsmerkmalen und Eigenschaften. Eine Risikobewertung zur Begehung von Ordnungswidrigkeiten soll jedenfalls nicht verboten sein, da dessen Verfolgung weniger grundrechtsinvasiv sei. Die betroffene KI funktioniert, indem sie Muster in historischen Daten erkennt und verknüpft und auf dieser Basis Risikowerte zur Vorhersage erzeugt. Parallel zum Verbot der automatisierten Entscheidungsfindung ist hier nicht von Relevanz, wenn die KI nur unterstützend zur Bewertung eingesetzt wird. 

Art. 5 Abs. 1 e) KI-VO: Erstellung einer Datenbank zur ungezielten Gesichtserkennung 

Dieses Verbot umfasst die Generierung einer Datenbank zur ungezielten Gesichtserkennung. Der konkrete Akt der biometrischen Identifizierung wird in Vorschriften weiter unten geregelt. Ungezielt meint in diesem Kontext, dass Daten wahllos gesammelt werden, ohne dass es auf Informationen zu einem konkreten Individuum oder eingrenzbaren Personenkreis ankommen soll. 

Art. 5 Abs. 1 f) KI-VO: KI-Systeme zur Ableitung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen 

Diese Vorschrift verbietet KI-Systeme, die Emotionen am Arbeitsplatz und in Bildungseinrichtungen erkennen und ableiten können. Dies begründet sich vor allem darin, dass die Emotionserkennung oft hinsichtlich ihrer Wirksamkeit, Genauigkeit und der begrenzten Verallgemeinerbarkeit bemängelt wird. Durch die KI-Systeme in diesem Fall erfolgt ein Rückschluss auf die Emotion einer natürlichen Person, indem durch die Verarbeitung biometrischer Daten eine Emotion verglichen wird, die zuvor im Emotionserkennungssystem programmiert wurde. Die Einschränkung auf den Arbeitsplatz oder die Bildungseinrichtung bezieht sich auf das hier vorherrschende besondere Machtungleichgewicht zwischen den Personen.

Art. 5 Abs. 1 g) KI-VO: Systeme zur biometrischen Kategorisierung

Weiterhin verbietet die KI-VO solche KI-Systeme, die eine biometrische Kategorisierung durchführen können, um Rückschlüsse auf sensible Merkmale wie Ethnie, politische Meinung, religiöse oder philosophische Überzeugung, sexuelle Orientierung, etc. zu ziehen. Der Prozess funktioniert typischerweise so, dass anhand der biometrischen Daten festgestellt wird, ob die betroffene Person zu einer Gruppe mit bestimmten vordefinierten Merkmalen gehört. Für das Verbot ist nicht die Identifikation einer Person relevant, sondern allein die hierdurch erfolgende Zuordnung zu einer bestimmten Kategorie. 

Art. 5 Abs. 1 h) KI-VO: biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken

Schließlich soll noch auf das Verbot der biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken eingegangen werden. Es werden also Systeme, die dazu dienen, Personen aus der Ferne – ohne nennenswerte zeitliche Verzögerung - durch Abgleich der biometrischen Daten mit den in einer Referenzdatenbank gespeicherten biometrischen Daten zu identifizieren von diesem Verbot erfasst. Begründet wird dies mit dem dadurch erzeugten Gefühl der ständigen Überwachung und der massiven Berührung der Grundrechte. Außerdem bringen die begrenzte Überprüfbarkeit und mangelnde Möglichkeit zur Korrektur dieser Systeme erhebliche Risiken mit sich. Die Vorschrift sieht drei Fälle vor, in denen die Sicherheitsbedürfnisse der Gesellschaft die damit einhergehenden Risiken überwiegen und das Verfahren somit zulässig sein soll.

Die Leitlinien helfen mithin bei den Begriffsbestimmungen und Anwendung der Verbotsvorschriften. Sie geben nicht nur Auslegungshilfen an die Hand, sondern machen auch Ausführungen zu dem Zusammenspiel der KI-VO mit anderen Unionsvorschriften.