Der neue KI-Rechtsrahmen: Überblick zur geplanten EU-Regulierung

Sebastian Straub, LL.M.*

1. Anforderungen an Hochrisiko-KI-Systeme

In den Art. 8 ff. KI-VO-E werden eine Reihe von Mindestanforderungen definiert, die Hochrisiko-KI-Systeme erfüllen müssen. Die Anforderungen dienen vorrangig der Minimierung von Risiken, berücksichtigen aber auch ethische Aspekte.¹⁵

In Art. 9 KI-VO-E wird zunächst die Pflicht zur Einrichtung und Unterhaltung eines Risikomanagementsystems genannt. Das Risikomanagementsystem muss als kontinuierlicher iterativer Prozess über den gesamten Lebenszyklus eines KISystems hinweg fortgeführt werden (Art. 9 Abs. 2 Satz 1 KI-VO-E). Hierzu gehören u.a. die Ermittlung und Analyse von Risiken und die Ergreifung geeigneter Maßnahmen zur Risikoreduzierung. Die Auswahl von geeigneten Risikominimierungsmaßnahmen steht im Ermessen des jeweiligen Anbieters. Er hat jedoch den allgemein anerkannten Stand der Technik zu berücksichtigen (Art. 9 Abs. 3. Satz 2 KI-VO-E). Die zu ergreifenden Maßnahmen müssen zudem so gestaltet sein, dass die identifizierten Einzelrisiken sowie das Gesamtrisiko insgesamt auf ein vertretbares Maß reduziert werden (Art. 9 Abs. 4 KI-VO-E).

Eine weitere Verpflichtung betrifft KI-Systeme, die auf Grundlage von Daten trainiert werden. Art. 10 KI-VO-E stellt in diesem Zusammenhang Anforderungen hinsichtlich der Qualität der verwendeten Datensätze. Demnach sollen Trainings-, Validierungs- und Testdatensätze »relevant, repräsentativ, fehlerfrei und vollständig sein«. Die Anforderungen an die Datenqualität wurden vor allem mit Blick auf das Risiko der Diskriminierung durch Algorithmen aufgenommen.¹⁶ In der Praxis wird insbesondere die Anforderung der Fehlerfreiheit von Datensätzen für Umsetzungsschwierigkeiten sorgen. Denn häufig fehlt es an objektivierbaren Qualitätsstandards bzw. an entsprechenden Metriken zur Bestimmung der Datenqualität.

Um die Einhaltung der Anforderungen der Verordnung nachvollziehbar zu machen, wird zudem die Erstellung einer technischen Dokumentation angeordnet (Art. 11 KI-VO-E). Die technische Dokumentation muss mindestens die in Anhang IV genannten Informationen enthalten und umfasst neben allgemeinen Beschreibungen auch Angaben zu spezifischen Bestandteilen des KI-Systems und seines Entwicklungsprozesses. Die Erstellung der technischen Dokumentation dient dabei als Nachweis gegenüber Konformitätsbewertungsstellen und Aufsichtsbehörden.

Hochrisiko-KI Systeme müssen zudem so konzipiert und entwickelt sein, dass sie eine umfassende Protokollierung von Vorgängen und Ereignissen ermöglichen. Nach Art. 12 Abs. 1 Satz 2 KI-VO-E muss die Protokollierung dabei »anerkannten Normen oder gemeinsamen Spezifikationen entsprechen «. Die Aufzeichnungspflicht soll gewährleisten, dass das Funktionieren des KI-Systems während seines gesamten Lebenszyklus rückverfolgbar ist (Art. 12 Abs. 2 KI-VO-E). Aus Gründen der Transparenz und Nachvollziehbarkeit von KI-Entscheidungen ist die Anordnung einer umfassenden Protokollierungspflicht geboten. Sofern dabei jedoch personenbezogene Daten verarbeitet werden, kann dies zu einem Spannungsverhältnis zu den Vorschriften des Datenschutzrechts führen. Die dauerhafte Erfassung und Speicherung von Vorgängen und Ereignissen steht im Widerspruch zu dem in Art. 5 Abs. 1 Buchst. c DSGVO normierten Grundsatz der Datenminimierung. Eine datenschutzkonforme Gestaltung der Protokollierungspflicht wird in der Folge mit einem nicht unerheblichen Aufwand verbunden sein.

Als weitere Transparenzvorgabe ordnet Art. 13 Abs. 1 KIVO-E an, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, »dass ihr Betrieb hinreichend transparent ist, damit die Nutzer die Ergebnisse des Systems angemessen interpretieren und verwenden können«. Dabei soll die Transparenz auf »eine geeignete Art und in einem angemessenen Maß gewährleistet« sein, damit Nutzer des KI-Systems die ihnen obliegenden Pflichten aus Art. 29 KI-VO-E erfüllen können. Die Transparenzpflicht soll damit sicherstellen, dass das KI-System durch den Nutzer auch rechtskonform verwendet werden kann.¹⁷ Zusätzlich sollen Hochrisiko-KI-Systeme mit einer Gebrauchsanweisung versehen werden, die präzise, vollständige, korrekte und eindeutige Informationen  enthält (Art. 13 Abs. 2 KI-VO-E). Gefordert werden in diesem Zusammenhang Informationen u.a. zur Zweckbestimmung, aber auch eine Bewertung des Grads an Genauigkeit, Robustheit und Cybersicherheit des KI-Systems. Gerade die letztgenannte Anforderung wird aus Sicht vieler Hersteller kritisch zu beurteilen sein, da die positive Zusicherung von bestimmten Eigenschaften, wie das »erwartbare« Niveau an Cybersicherheit, auch Einfluss auf Gewährleistungs- und Haftungsansprüche nehmen kann.

Zur Minimierung von Risiken sollen KI-Systeme nach Art. 14 Abs. 1 KI-VO-E zudem so konzipiert und entwickelt werden, dass sie durch eine menschliche Instanz wirksam beaufsichtigt und kontrolliert werden können. Um die Aufsichtspflicht auszuüben, sollen entsprechende Interventionsmechanismen in das KI-System eingebaut werden (Art. 14 Abs. 3 KI-VO-E). Diese Vorkehrungen sollen sicherstellen, dass die Aufsichtsperson die Fähigkeiten und Grenzen des KI-Systems erfassen und mithilfe entsprechender Werkzeuge die Ergebnisse der KI richtig interpretieren kann. Ferner soll der Betrieb durch die Aufsichtsperson überwachbar sein, um im Falle einer unerwarteten Situation angemessen reagieren zu können. Als Interventionsmittel wird in diesem Zusammenhang auch ein Systemeingriff mittels einer »Stopptaste« genannt (Art. 14 Abs. 4 Buchst. e KI-VO-E).

Als weitere Anforderung wird schließlich in Art. 15 KI-VO-E die Genauigkeit, Robustheit sowie die Cybersicherheit von Hochrisiko-KI-Systemen normiert. Hierdurch soll sichergestellt werden, dass hochriskante KI-Systeme bei Fehlern, Störungen oder unerwarteten Situationen, aber auch bei böswilligen Eingriffen ein ausreichendes Maß an Widerstandsfähigkeit aufweisen.¹⁸ Zur Verhinderung von Cyberangriffen auf KI-spezifische Ressourcen (z.B. Trainingsdatensätze oder trainierte Modelle) sollen zudem geeignete Maßnahmen zur Risikoreduzierung ergriffen werden. Vorgaben zur Umsetzung dieser Pflichten werden nicht genannt. Die Ausgestaltung geeigneter Schritte zur Erreichung eines »angemessenen Maßes« an Genauigkeit, Robustheit und Cybersicherheit obliegt damit den Anbietern.

2. Pflichten von Anbietern und Nutzern von Hochrisiko-KI-Systemen

Anbieter von Hochrisiko-KI-Systemen müssen sicherstellen, dass die Anforderungen der Art. 8 bis 15 KI-VO-E erfüllt werden (Art. 16 Buchst. a KI-VO-E). Darüber hinaus unterliegen sie einem weitreichenden Katalog an horizontalen Pflichten. Hierzu gehört die Einrichtung eines Qualitätsmanagementsystems (Art. 17 KI-VO-E), welches systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen die in Art. 17 Abs. 1 Buchst. a–m KI-VO-E genannten Aspekte umfasst. Aufgezählt werden u.a. systematische Kontroll- und Qualitätssicherungsmaßnahmen, aber auch Untersuchungs-, Test- und Validierungsverfahren. Das Qualitätsmanagementsystem muss auch Vorgaben hinsichtlich des Datenmanagements enthalten. Zudem müssen Prozesse zur Beobachtung des KISystems nach Inverkehrbringen sowie Verfahren zur Meldung von schwerwiegenden Vorfällen und Fehlfunktionen etabliert werden. Zugunsten von kleineren Anbietern ist in Art. 17 Abs. 2 KI-VO-E eine Verhältnismäßigkeitsklausel vorgesehen. Nach dieser Vorschrift soll die Umsetzung der genannten Vorgaben in einem angemessenen Verhältnis zur Größe der Organisation des Anbieters stehen.

Als weitere Vorgabe nennt Art. 19 Abs. 1 KI-VO-E die Pflicht zur Durchführung eines Konformitätsbewertungsverfahrens. Wird eine entsprechende Konformitätsbewertung erfolgreich durchlaufen, erstellen die Anbieter eine EU-Konformitätserklärung und bringen das CE-Kennzeichen an.¹⁹ Zudem besteht die Verpflichtung, das Hochrisiko-KI-System in einer öffentlich einsehbaren EU-Datenbank zu registrieren (Art. 51 KI-VO-E). Anbieter müssen zudem auf Anfrage der zuständigen Behörde in der Lage sein, die Konformität des KI-Systems mit den Anforderungen der Verordnung nachzuweisen. Im Rahmen der Überprüfung ist die Behörde berechtigt, alle Informationen und Unterlagen herauszuverlangen, die im Rahmen des Prüfverfahrens notwendig sind (Art. 23 KI-VO-E). Dies umfasst auch den Zugang zu den automatisiert erzeugten Protokollen, soweit diese der Kontrolle des Anbieters unterliegen.

VII. Transparenzpflichten für bestimmte KI-Systeme

Für KI-Systeme mit spezifischen Manipulationsrisiken werden – unabhängig davon, ob sie als hochriskant eingestuft werden – Transparenzpflichten angeordnet. Natürlichen Personen soll gem. Art. 52 Abs. 1 KI-VO-E mitgeteilt werden, dass sie es mit einem KI-System zu tun haben, es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Der Einsatz von Chat Bots wird damit künftig mit einer Hinweispflicht verbunden sein. Eine Mitteilungspflicht besteht auch gegenüber Verwendern von Emotionserkennungssoftware oder Systemen der biometrischen Kategorisierung (Art. 52 Abs. 2 KI-VO-E). Zudem sollen KI-Systeme, die Bild-, Audio- oder Video-Inhalte von Personen, Gegenständen, Orten oder Ereignissen erzeugen oder manipulieren, gekennzeichnet werden. Der Verordnungsgeber hat mit der Kennzeichnungspflicht gem. Art. 52 Abs. 3 UAbs. 2 KI-VO-E vor allem sog. »Deepfakes « im Blick. Diese Art von KI-Systemen ist in der Lage, Foto-, Video- oder Audioaufnahmen so zu verändern, dass sie von authentischen Inhalten kaum zu unterscheiden sind. Diese Technologien basieren dabei häufig auf künstlichen neuronalen Netzwerken.²⁰ Legt man jedoch die weite Definition von KI-Systemen nach Art. 3 Nr. 1 KI-VO-E zugrunde, könnten zukünftig auch Bildbearbeitungsprogramme in den Anwendungsbereich von Art. 52 Abs. 3 KI-VO-E fallen, sofern sie auf die im Anhang I genannten Techniken und Konzepte zurückgreifen.²¹

VIII. KI-Systeme mit geringem Risiko

Für KI-Systeme, deren Inverkehrbringen oder Inbetriebnahme mit einem geringen Risiko verbunden ist, enthält die Verordnung keine expliziten Vorgaben. Anbieter und Nutzer können sich jedoch freiwillig einem Verhaltenskodex unterwerfen. Art. 69 KI-VO-E sieht in diesem Zusammenhang vor, dass die Aufstellung von Verhaltenskodizes erleichtert werden soll. Darüber hinaus soll die Schaffung von weiteren Verhaltenskodizes, etwa im Bereich der ökologischen Nachhaltigkeit oder der barrierefreien Zugänglichkeit für Personen mit Behinderungen, gefördert werden.

IX. Fazit und Ausblick

Mit dem Entwurf zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz bringt die EU-Kommission ein weiteres, großangelegtes Technologieregulierungsvorhaben auf den Weg. Die Verordnung hat das Potential, die Entwicklung und den Einsatz von KI-Anwendungen nachhaltig zu beeinflussen. Betroffen sind vorrangig Anbieter und Nutzer von hochriskanten KI-Systemen. Die Umsetzung der Mindeststandards wird für diese Akteure künftig einen höheren Compliance-Aufwand bedeuten. Eine Hilfestellung könnte der in Art. 56 vorgesehene »Europäische Ausschuss für künstliche Intelligenz« bieten, der Stellungnahmen, Empfehlungen und Leitlinien erarbeiten soll.²² Abseits dessen werden die Anforderungen der Verordnung künftig auch als Sorgfaltsmaßstab bei der Entwicklung von KI-Anwendungen herangezogen, insbesondere wenn es um die Frage der zivilrechtlichen Haftung geht.²³ In diesem Zusammenhang sollte auch die Initiative der EU-Kommission zur Anpassung der Haftungsregeln²⁴ für KI beobachtet werden.

Es deutet sich an, dass der vorliegende Verordnungstext infolge der Beratungen im EU-Ministerrat weiter angepasst wird.²⁵ Vorgesehen ist u.a. eine Konkretisierung der Begriffsdefinitionen, die Einführung eines Forschungsprivilegs sowie Sonderregelungen für sog. »general purpose AI systems«,²⁶ die nach dem neueingefügten Art. 52a nicht mehr dem Anwendungsbereich der Verordnung unterliegen sollen. Darüber hinaus ist zu erwarten, dass es im Abstimmungsprozess mit den Fachausschüssen des Europäischen Parlamentes zu weiteren Anpassungen kommt. Um die Auswirkungen des Regulierungsvorhabens besser abschätzen zu können, sollte der weitere Umsetzungsprozess nachverfolgt werden.

^{* Der Autor ist wissenschaftlicher Referent bei der VDI/VDE Innovation +Technik GmbH und berät i.R.d. Förderprogramme KI-Innovationswettbewerb und Smarte Datenwirtschaft des Bundesministeriums für Wirtschaft und Klimaschutz (BMWK) zu Fragen des Informationstechnologierechts. Mit den beiden Technologieprogrammen fördert das BMWK die Entwicklung innovativer Ansätze zur intelligenten Datennutzung und Anwendung von Künstlicher Intelligenz. Die beiden Programme aus dem Aufgabenbereich Entwicklung digitaler Technologien (www.digitale-technologien.de) tragen damit wesentlich dazu bei, den Transfer von Spitzentechnologien vor allem in den Mittelstand zu beschleunigen und so die Wettbewerbsfähigkeit der deutschen Wirtschaft zu sichern.}

^{1 Mitteilung der EU-Kommission – Digitaler Kompass 2030: der europäische Weg in die digitale Dekade v. 09.03.2021, COM(2021) 118 final.
2 Politische Leitlinien für die künftige Europäische Kommission 2019–2024, 16.07.2019, https://ec.europa.eu/info/sites/default/files/politicalguidelines- next-commission_de.pdf [20.12.2021].
3 Weißbuch zur künstlichen Intelligenz – Ein europäisches Konzept für Exzellenz und Vertrauen v. 19.02.2020, COM(2020) 65 final.
4 Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union v. 21.04.2021, COM(2021) 206 final.
5 ErwG. 6.
6 Ebert/Spiecker gen. Döhmann NVwZ 2021, 1188, 1189; Roos/Weitz MMR 2021, 844, 845.
7 Grützmacher/Füllsack ITRB 2021, 159, 160.
8 Fanta, EU verbietet automatisierte Gesichtserkennung an öffentlichen Orten – »mit wenigen Ausnahmen«, netzpolitzik.org, 21.04.2021, https://netzpolitik.org/2021/kuenstliche-intelligenz-eu-verbietet-automatisierte-gesichtserkennung-an-oeffentlichen-orten-mit-wenigen-ausnahmen/ [22.12.2021].
9 Vgl. ErwG. 6 sowie Art. 3 Abs. 1 des Kompromissentwurfs 2021/0106(COD).
10 Vgl. Art. 26 ff. KI-VO-E.
11 Art. 3 Abs. 2 DSGVO.
12 ErwG. 11.
13 Kritisch hierzu Valta/Vasel ZRP 2021, 142, 145.
14 Vgl. ErwG. 34.
15 Vgl. EU-Expertengruppen für künstliche Intelligenz, Ethics Guidelines for Trustworthy AI, 11.08.2019, https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1 [19.12.2021].
16 ErwG. 44.
17Die Norm wird aufgrund der Vielzahl an auslegungsbedürftigen Begriffen jedoch auch kritisiert, vgl. Roos/Weitz MMR 2021, 844, 847.
18 ErwG. 50.
19 Offen bleibt, wie die CE-Kennzeichnungspflicht bei KI-Systemen praktisch umgesetzt werden soll. Kritisch hierzu Hoeren/Sieber/Holznagel/Kevekordes, MMR-HdB, Teil 29 Rn. 51.
20 Lantwin MMR 2019, 574 ff.
21 Geminn ZD 2021, 354, 358.
22 ErwG. 76.
23 Zu den Auswirkungen der Verordnung auf die zivilrechtliche Haftung für KI-Systeme siehe Grützmacher CR 2021, 433 ff. 
24 EU-Kommission, Zivilrechtliche Haftung – Anpassung der Haftungsregeln an das digitale Zeitalter und an die Entwicklungen im Bereich der künstlichen Intelligenz, 30.06.2021, https://ec.europa.eu/info/law/better-regulation/have-your- say/initiatives/12979-Zivilrechtliche-Haftung-Anpassung-der-Haftungsregeln-an-das-digitale-Zeitalter-und-an-die-Entwicklungen-im-Bereich-der-kunstlichen-Intelligenz_de [22.12.2021].
25 Kompromissvorschlag des Rats der Europäischen Union, 2021/0106(COD).
26 Hierbei handelt es sich um KI-Frameworks, die zweckoffen konzipiert und entwickelt werden, vgl. ErwG. 70a des Kompromissvorschlags des Rats der Europäischen Union, 2021/0106(COD).}

^{Bildnachweis: Getty Images}