KI-Flash: Leitlinien der Europäischen Kommission zum Begriff des KI-Systems

Nachdem wir in unserem letzten KI-Flash über die Marktüberwachung von KI berichtet haben, möchten wir Ihnen auch weiterhin in regelmäßigen Abständen rechtliche Impulse mit auf den Weg geben. 

Heutiges Thema: Leitlinien der Europäischen Kommission zum Begriff des KI-Systems

Die Europäische Kommission hat per Datum vom 6. Februar 2025 u.a. Leitlinien zur Definition von KI-Systemen veröffentlicht. Daneben wurden auch Leitlinien für verbotene KI-Praktiken nach Art. 5 der KI-Verordnung publiziert, welche kurzfristig in einem eigenständigen KI-Flash behandelt werden. 

Wie dies in der dazugehörigen Pressemitteilung der Europäischen Kommission ausdrücklich angeführt wird, sind die Leitlinien nicht verbindlich, sollen jedoch eine wirksame Anwendung der Vorschriften der KI-Verordnung erleichtern. Eine abschließende Einordnung bleibt daher naturgemäß einer gerichtlichen Entscheidung durch den Europäischen Gerichtshof (EuGH) vorbehalten, weshalb die weiteren Entwicklungen stets genau im Auge behalten werden sollten.

Hintergrund der Leitlinien sind die Vorgaben aus Art. 96 Abs. 1 lit. f) der KI-Verordnung, wonach die Europäische Kommission dazu verpflichtet ist, die Definition des Begriffs „KI-System“ für die Anwendungspraxis zu präzisieren. Auch wenn die Leitlinien bislang nur gebilligt, nicht jedoch förmlich angenommen wurden, lassen sich der Stellungnahme eine Vielzahl an begrüßenswerten Anwendungsbeispielen und -hilfen entnehmen. 

Der nachstehende KI-Flash soll die Kernaussagen der Veröffentlichung herausarbeiten und abschließend einige Praxishinweise für Anbieter und Betreiber von KI-Systemen zur Hand geben.

Die Definition des KI-Systems

Nach Art. 3 Abs. 1 der KI-Verordnung ist ein KI-System

„ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.“

Die Europäische Kommission arbeitet in ihren Leitlinien zutreffend heraus, dass der Definition insgesamt 7 Bestandteile zugrundeliegen, welche sich teilweise überschneiden, bzw. gegenseitig bedingen. Ein KI-System wird hiernach durch die folgenden Wesensmerkmale klassifiziert:

• Maschinengestütztes System (1)
• Grad an Autonomie (2)
• Anpassungsfähigkeit (3)
• Ziele des KI-Systems (4)
• Möglichkeit zu Schlussfolgerungen (5)
• Erzeugen von bestimmten Ausgaben (6)
• Interaktion mit der Umgebung (7)

Diese 7 Bestandteile werden in den Leitlinien der Europäischen Kommission weiter präzisiert und mit entsprechenden Beispielen versehen. Nachstehend sollen die einzelnen Merkmale der Definition im Detail unter die Lupe genommen und ebenfalls mit weiterführenden Beispielen versehen werden.

(1) Maschinengestütztes System

Der Begriff „maschinengestützt" bezieht sich zunächst auf die Tatsache, dass KI-Systeme mit Maschinen entwickelt und entsprechend betrieben werden. Der Begriff „Maschine" kann dabei so verstanden werden, dass er sowohl die Hardware- als auch die Softwarekomponenten umfasst, die das Funktionieren des KI-Systems überhaupt ermöglichen. Die Hardwarekomponenten beziehen sich etwa auf die physischen Elemente der Maschine, wie z. B. Verarbeitungseinheiten, Speicher, Speichergeräte, Netzwerkeinheiten sowie Ein- und Ausgabeschnittstellen, die die Infrastruktur für Berechnungen bereitstellen. Die Softwarekomponenten umfassen demgegenüber Computercode, Anweisungen, Programme, Betriebssysteme und Anwendungen, die die Verarbeitung von Daten sowie die Ausführung von Aufgaben durch die Hardware steuern. 

Die Anforderung „maschinengestützt" unterstreicht letztlich somit nur die Tatsache, dass KI-Systeme rechnergestützt arbeiten und auf Maschinenoperationen basieren müssen. Der Begriff des KI-Systems deckt somit – wenig überraschend – eine große Bandbreite von Rechensystemen ab.

(2) Grad an Autonomie

Das zweite Element der Definition besagt, dass KI-Systeme mit unterschiedlichem Grad an Autonomie arbeiten müssen. Dies bedeutet, dass sie bis zu einem gewissen Grad unabhängig von menschlichen Eingriffen funktionieren. Der Grad an Autonomie kann dabei von manueller Bedienung bis hin zu völliger Unabhängigkeit von menschlichen Eingriffen variieren. Nach den Ausführungen der Europäischen Kommission steht die „menschliche Beteiligung“ und das „menschliche Eingreifen“ hierbei im Mittelpunkt des Konzepts der Autonomie.

Soweit ein System etwa so konzipiert ist, dass es in der Lage ist, ohne jegliche menschliche Beteiligung oder Intervention, völlig eigenständig zu arbeiten, handelt es sich um ein autonomes (KI-) System. Systeme, die demgegenüber nur manuell bediente Funktionen ausführen, sollen demgegenüber von der Definition des KI-Systems ausgeschlossen werden. Menschliche Beteiligung kann hierbei sowohl direkt als auch indirekt erfolgen, etwa durch manuelle Kontrollen oder automatisierte Überwachung. Ein System, das selbstständig Ausgaben auf Basis manuell eingegebener Daten erzeugt, gilt demgegenüber als teilweise autonom. 

(3) Anpassungsfähigkeit 

Das dritte Element der Definition in Art. 3 Abs. 1 der KI-Verordnung besagt, dass ein KI-System nach seiner Einführung eine Anpassungsfähigkeit aufweisen „kann“. Autonomie und Anpassungsfähigkeit sind unterschiedliche, aber eng verbundene Konzepte. Anpassungsfähigkeit bezieht sich auf die selbstlernenden Fähigkeiten eines Systems, die es ihm ermöglichen, sein Verhalten während des Einsatzes zu ändern. Dadurch kann das System im Ergebnis, auch bei denselben Eingaben, zu unterschiedlichen Ergebnissen gelangen. Die Fähigkeit eines Systems, automatisch zu lernen und neue Muster zu entdecken, ist eine optionale, jedoch keine zwingende Voraussetzung für die Klassifizierung als KI-System.

(4) Ziele des KI-Systems

Das vierte Element der Definition bezieht sich auf die Ziele des KI-Systems, die entweder explizit oder implizit definiert sein können. Explizite Ziele sind klar formulierte Ziele, die vom Entwickler direkt im System kodiert werden, wie die Optimierung einer Kostenfunktion oder einer Wahrscheinlichkeit. Implizite Ziele ergeben sich demgegenüber aus dem Verhalten des Systems oder den dem System zugrundeliegenden Annahmen und können aus den Trainingsdaten oder der Interaktion des KI-Systems mit seiner Umgebung abgeleitet werden. 

In Erwägungsgrund 12 der KI-Verordnung wird insoweit klargestellt, dass sich die Ziele eines KI-Systems von dessen beabsichtigtem Zweck unterscheiden können. Die Ziele eines KI-Systems sind systemintern und beziehen sich auf die Aufgaben und deren Ergebnisse, die das System ausführen soll. Der beabsichtigte Zweck hingegen ist nach außen gerichtet und umfasst den Einsatzkontext des Systems sowie dessen Betrieb. Nach den Ausführungen der Europäischen kommission kann ein virtuelles KI-Assistenzsystem in einem Unternehmen etwa das Ziel haben, Benutzerfragen präzise zu beantworten, während der beabsichtigte Zweck darin besteht, eine bestimmte Abteilung bei ihren Aufgaben zu unterstützen. 

(5) Schlussfolgerungen

Das fünfte – und wohl am schwierigsten zu bestimmende – Element eines KI-Systems besteht darin, dass es in der Lage sein muss, aus den jeweiligen Eingaben abzuleiten, wie es Ausgaben erzeugen kann. Ein wesentliches Merkmal von KI-Systemen ist daher ihre Fähigkeit, Schlussfolgerungen zu ziehen, was sie maßgeblich von herkömmlichen Softwaresystemen unterscheidet. In Erwägungsgrund 12 der KI-Verordnung wird ausdrücklich klargestellt, dass sich KI-Systeme von herkömmlichen Softwaresystemen unterscheiden müssen und hierbei gerade keine Systeme umfasst sein sollen, die ausschließlich auf von natürlichen Personen definierten Regeln zur automatischen Ausführung von Vorgängen beruhen.

Fälle, in denen die Einstufung als KI-System zu bejahen ist:

Zu den Techniken, die Schlussfolgerungen ermöglichen und somit unter die Definition des KI-Systems fallen, gehören maschinelle Lernansätze wie überwachtes, unüberwachtes, selbstüberwachtes und verstärkendes Lernen. 

• Beim überwachten Lernen wird das System mit gekennzeichneten („gelabelten“) Daten trainiert, um Muster zu erkennen und neue Daten zu klassifizieren. 

Beispiel: Ein KI-gestütztes E-Mail-Spam-Erkennungssystem, was zuvor mit gelabelten Daten („Spam“ oder „kein Spam“) trainiert wird, um „neue“ E-Mails entsprechend einordnen zu können.

• Beim unüberwachten Lernen entdeckt das System Muster in bislang unmarkierten Daten, um durch verschiedene Techniken (Clustering, Dimensionalitätsreduktion oder Anomalitätserkennung) Strukturen oder Beziehungen in Daten zu entdecken.

Beispiel: KI-Systeme in Pharmaunternehmen, welche zur Arzneimittelentdeckung eingesetzt werden.

• Selbstüberwachtes Lernen stellt eine Unterkategorie des unüberwachten Lernens dar, bei welcher das System unmarkierte Daten nutzt, um diese anschließend (sodann überwacht) eigenständig zu markieren und daraus zu lernen. 

Beispiel: Ein Bilderkennungssystem, das lernt, Objekte zu erkennen, indem es fehlende Pixel in einem Bild vorhersagt. 

• Verstärkendes Lernen basiert auf einer „Belohnungsfunktion“, bei der das System durch Versuch und Irrtum lernt und hierbei seine Strategie verfeinert.

Beispiel: Ein KI-gestützter Roboterarm, der Aufgaben wie das Greifen von Objekten ausführen kann.

• Deep Learning stellt einen Teilbereich des maschinellen Lernens dar, welcher künstliche neuronale Netze (KNN) nutzt, um Merkmale aus Rohdaten zu erlernen, wobei regelmäßig sehr große Datenmengen für das Training benötigt werden.

Beispiel: Komplexe KI-Systeme, welche dazu in der Lage sind Sprache zu erkennen, wiederzugeben und mit natürlichen Personen zu kommunizieren, etwa ChatGPT, Microsoft Copilot, etc.

Neben maschinellen Lernansätzen gibt es daneben auch logik- und wissensbasierte Ansätze, die auf kodiertem Wissen oder symbolischen Darstellungen beruhen. Diese Systeme lernen aus Wissen, das von menschlichen Experten kodiert wurde, und ziehen logische Schlüsse durch deduktive oder induktive Methoden. Beispiele hierfür sind Expertensysteme, die auf vordefinierten Regeln und Ontologien basieren, sowie klassische Sprachverarbeitungsmodelle, die grammatikalisches Wissen und logische Semantik nutzen, um die Bedeutung von Texten zu extrahieren.

Fälle, in denen die Einstufung als KI-System zu verneinen ist:

In Erwägungsgrund 12 der KI-Verordnung wird klargestellt, dass keine Systeme von der Definition des KI-Systems umfasst sein sollen, die ausschließlich auf von natürlichen Personen festgelegten Regeln zur automatischen Ausführung von Vorgängen beruhen. Einige Systeme, die zwar in der Lage sind, Schlussfolgerungen zu ziehen, fallen damit dennoch nicht unter die Definition von KI-Systemen, da sie nur begrenzt in der Lage sind, Muster zu analysieren und ihren Output eigenständig anzupassen.

Systeme zur Verbesserung der mathematischen Optimierung oder zur Beschleunigung etablierter Optimierungsmethoden, wie lineare oder logistische Regressionen, fallen nicht unter die KI-Definition, da sie nur grundlegende Datenverarbeitung leisten. Beispiele sind Systeme, die maschinelles Lernen verwenden, um Optimierungsalgorithmen zu verbessern oder physikbasierte Systeme, die maschinelles Lernen zur Beschleunigung physikalischer Simulationen nutzen.

Einfache Datenverarbeitungssysteme, die vordefinierten Anweisungen folgen und keine KI-Techniken wie maschinelles Lernen oder logikbasierte Inferenz nutzen, fallen ebenfalls nicht unter die KI-Definition. Dazu gehören Datenbankverwaltungssysteme, die Daten sortieren oder filtern, sowie Software zur deskriptiven Analyse, Hypothesenprüfung und Visualisierung.

Auf klassischen Heuristiken basierende Systeme, die Problemlösungen durch regelbasierte Ansätze oder Mustererkennung finden, fallen ebenfalls nicht unter die KI-Definition. Ein Beispiel ist ein Schachprogramm, das heuristische Bewertungsfunktionen verwendet, ohne aus Daten zu lernen. Einfache Vorhersagesysteme, die durch grundlegende statistische Lernregeln operieren, wie die Vorhersage von Aktienkursen durch historische Durchschnittswerte, werden ebenfalls nicht als KI-Systeme eingestuft. Diese Systeme bieten Basisprognosen, deren Leistung jedoch nicht die Komplexität moderner maschineller Lernmodelle erreicht.

Zusammengefasst fallen daher Systeme, die nur grundlegende Datenverarbeitungen oder festgelegte Regeln ohne datengesteuertes „Lernen“ verwenden, nicht unter die Definition von KI-Systemen gemäß der KI-Verordnung.

(6) Erzeugen von bestimmten Ausgaben

Das sechste Element der Definition eines KI-Systems sagt aus, dass das System in der Lage sein muss, Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen zu können. 

• Vorhersagen sind Schätzungen unbekannter Werte aus bekannten Eingaben und erfordern am wenigsten menschliches Eingreifen. KI-Systeme, die maschinelles Lernen nutzen, können komplexe Muster in Daten aufdecken und genaue Vorhersagen in dynamischen Umgebungen aufstellen. Beispiele sind selbstfahrende Autos, die Echtzeitvorhersagen treffen und Entscheidungen in komplexen Verkehrssituationen anpassen, oder Systeme zur Schätzung des Energieverbrauchs basierend auf Datenanalysen.
• Inhalte beziehen sich auf die Erzeugung von neuem Material wie Texte, Bilder oder Videos, oft basierend auf maschinellen Lernmodellen wie GPT-Technologien. 
• Empfehlungen sind Vorschläge für spezifische Aktionen oder Produkte basierend auf Nutzerpräferenzen und Verhaltensmustern. KI-gestützte Empfehlungssysteme können große Datenmengen verarbeiten, sich in Echtzeit anpassen und personalisierte Empfehlungen ausgeben, was sie wiederum von statischen, regelbasierten Systemen unterscheidet.
• Entscheidungen beziehen sich auf automatisierte Schlussfolgerungen oder Handlungen, die traditionell durch menschliches Urteilsvermögen getroffen wurden. Ein KI-System, das Entscheidungen trifft, automatisiert diesen Prozess und erreicht Ergebnisse ohne menschliches Eingreifen.

Zusammenfassend lässt sich festhalten, dass KI-Systeme durch ihre Fähigkeit, komplexe Beziehungen und Muster in Daten zu verarbeiten und differenzierte Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen und Entscheidungen zu generieren, von Nicht-KI-Systemen unterschieden werden. Diese Fähigkeit ermöglicht ihnen ein differenzierteres „Denken“ sowie ein Handeln in strukturierten Umgebungen.

(7) Interaktion mit der Umgebung

Das siebte Element der Definition eines KI-Systems besteht darin, dass die Ergebnisse des Systems die physische oder virtuelle Umgebung beeinflussen. Dies unterstreicht, dass KI-Systeme aktiv auf ihre Umgebung einwirken, anstatt sich rein passiv zu verhalten. Der Einfluss eines KI-Systems kann sowohl greifbare, physische Objekte wie einen Roboterarm betreffen, als auch virtuelle Umgebungen, einschließlich digitaler Räume, Datenströme und Software-Ökosysteme. 

Praxishinweis

Auch wenn einige technische Nuancen trotz Lektüre der Leitlinien offenbleiben, sind die Ausarbeitungen der Europäischen Kommission sehr zu begrüßen. Da die Frage, ob es sich bei einem System gerade um ein KI-System handelt, oder eben nicht, entscheidende Auswirkungen auf die Anwendbarkeit der KI-Verordnung entfaltet, müssen Unternehmen für jedes System sehr gründlich prüfen, ob die jeweiligen Merkmale der Definition eines KI-Systems erfüllt sind. Da dies im Einzelnen nicht (allein) durch eine juristische Prüfung möglich ist, müssen stets die IT-Verantwortlichen in den Prozess miteinbezogen werden. Zudem ist es aus unserer Sicht empfehlenswert, eine detaillierte Prüfschablone zu erarbeiten, mithilfe derer das Ergebnis der Prüfung auch entsprechend dokumentiert werden kann.

In Zweifelsfällen wird es wohl ratsam sein, das Vorliegen eines KI-Systems zu bejahen. Das rechtliche Risiko ist regelmäßig als deutlich größer anzusiedeln, sofern verpflichtende Vorgaben nicht umgesetzt werden, als im genau umgekehrten Fall. Dies gilt natürlich nur dann, sofern das Nichtvorliegen eines KI-Systems nicht mit vertretbaren Argumenten aus technischer Sicht begründet werden kann. 

Wir unterstützen Sie gerne bei einer entsprechenden Prüfung sowie bei der anschließenden Umsetzung aller Anforderungen für eine rechtssichere KI-Compliance!