"KI-Flash": Hinweis des Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit zu den Auswirkungen des SCHUFA-Urteils auf KI-Anwendungen

Nachdem wir in unserem letzten KI-Flash über den aktuellen Stand zur Europäischen KI-Verordnung (Stand: 19. Dezember 2024) berichtet haben, möchten wir Ihnen auch weiterhin in regelmäßigen Abständen rechtliche Impulse mit auf den Weg geben. Da Zeit in der heutigen Gesellschaft ein rares Gut ist, wollen wir mit unseren „KI-Flash“ gleich auf den Punkt kommen und die rechtlichen Herausforderungen kurz und prägnant zusammenfassen:

Heutiges Thema: Hinweis des Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit („HmbBfDI“) zu den Auswirkungen des SCHUFA-Urteils (Az. C-634/21) auf KI-Anwendungen.

Mit Urteil vom 07. Dezember 2023 (Az. C-634/21) entschied der EuGH, dass die Verwendung des sog. SCHUFA-Scores eine „ausschließlich auf einer automatisierten Verarbeitung beruhende Entscheidung“ nach Art. 22 DS-GVO darstelle, sofern Dritte ausschließlich auf Grundlage des Scores über den Abschluss von Verträgen mit Betroffenen entscheiden.
Noch am selben Tag der Entscheidung erfolgte ein Hinweis des HmbBfDI, dass dieses Urteil weitereichende Folgen auch für viele KI-Anwendungen habe, da diese - ähnlich wie beim Scoring - Entscheidungen mithilfe von Algorithmen vorbereiten. Analog wie Auskunfteien, setzen nämlich Unternehmen vermehrt KI-Systeme ein, um bestimmte Entscheidungsprozesse (etwa im Bewerberprozess) vorzubereiten. Sofern die von der KI vorgeschlagenen Ergebnisse auf Basis kaum nachvollziehbarer und von der KI eigenständig entwickelter Kriterien entstanden sind, könne das Urteil des EuGHs auf diese Fälle entsprechend angewendet werden.

Auf Grundlage des Urteils müssten solche KI-basierten Bewertungen daher mit einer menschlichen Beurteilung verknüpft werden. Konsequenz sei folglich, dass die letztentscheidende Person die Sachkunde und daneben genug Zeit benötige, um die maschinelle Vorentscheidung hinterfragen zu können. Hierfür sei wiederum erforderlich, dass KI Entwickler die Entscheidungswege der KI in transparenter Form abbilden. Anwender hingegen seien verpflichtet, sich mit der Funktionsweise der KI auseinanderzusetzen und diese regelmäßig zu überprüfen.

Sollte dies nicht möglich sein, so dürfen automatische Entscheidungen einer KI nur in folgenden Fällen übernommen werden:

• Die betroffene Person hat ausdrücklich eingewilligt, oder
• die automatisierte Entscheidung ist im Ausnahmefall für die Erfüllung eines Vertrags erforderlich, da beispielsweise in einer Online-Anwendung die sofortige verbindliche Rückmeldung notwendig ist.

Betroffene haben in diesen Fällen jedoch stets die Möglichkeit, die Nachprüfung der Entscheidung durch einen Menschen zu verlangen.

Der EuGH hat somit – auch nach Auffassung des HmbBfDI – insbesondere die Spielregeln für den Einsatz von KI konkretisiert und damit ein wegweisendes Urteil für KI-basierte Entscheidungen geschaffen. Für Unternehmen bedeutet dies in der Folge, dass die eingesetzten (oder auch eigenständig entwickelten) KI Anwendungen genauestens zu prüfen sind. Dies gilt insbesondere für die Frage, ob und inwieweit der Anwendungsbereich des Art. 22 DS-GVO im Einzelfall eröffnet ist, bzw. eröffnet sein kann.

In unserem nächsten KI-Flash werden wir auf die finalen Regelungen der europäischen KI-Verordnung eingehen und insoweit einen etwas umfassenderen Überblick zu den künftigen Anforderungen aufzeigen.