Wer Hochrisiko-KI einsetzt, trägt Verantwortung. Die KI-VO verpflichtet nicht nur die Anbieter, sondern auch die Betreiber solcher Systeme. Für Hochrisiko-KI-Systeme werden diese Pflichten zwar frühestens ab Dezember 2027 anwendbar. Die Vorbereitung auf die neuen Anforderungen sollte jedoch schon heute beginnen.
Die herausforderndsten Pflichten der KI-VO treffen die Anbieter von Hochrisiko-KI-Systemen. Doch auch Betreiber von Hochrisiko-KI-Systemen haben einige Pflichten einzuhalten. Der nachfolgende Beitrag stellt diese Betreiberpflichten dar.
Hendrik Witt, LL.M. und David Krstic
I. Einleitung
Im Unternehmenskontext regelmäßig relevant sind die folgenden als hochriskant eingestuften Bereiche der KI-Nutzung: Kritische Infrastruktur, Beschäftigung/Personalmanagement, Kreditwürdigkeitsprüfung und Bonitätsbewertung sowie Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen. Der branchenübergreifend bedeutsamste Fall von Hochrisiko-KI ist das KI-basierte Sichten und Filtern von Bewerbungen bzw. Bewerten von Bewerbern. Ein konkretes Fallbeispiel wird im parallel veröffentlichten Blogbeitrag „Wie viel Mensch verlangt das Recht? Anforderungen an menschliche Aufsicht und Einflussnahme nach KI-VO und DSGVO“ dargestellt.
Vorbehaltlich möglicher Ausnahmen, auf die im Laufe des Beitrags eingegangen wird, müssen Anbieter vor allem bei der Systementwicklung und müssen Betreiber vor allem beim Systemeinsatz Pflichten zur Mitigation der hohen Risiken erfüllen. Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen bzw. eigener Handelsmarke in Verkehr bringt oder in Betrieb nimmt. Betreiber ist, wer ein KI-System in eigener Verantwortung verwendet, es sei denn, es handelt sich um eine persönliche, nicht-berufliche Tätigkeit. Die Anbieterpflichten sind umfangreicher als die Betreiberpflichten. Ein Unternehmen, das im Ausgangspunkt Betreiber ist, kann auch dann Anbieterpflichten zu erfüllen haben, wenn es das KI-System nicht selbst entwickelt bzw. entwickeln lassen hat. Dies ist dann der Fall, wenn das Unternehmen ein bereits in Verkehr gebrachtes oder in Betrieb genommenes (Hochrisiko-)KI-System mit dem eigenen Namen oder der eigenen Handelsmarke versieht, wenn es eine wesentliche Veränderung am (Hochrisiko-)KI-System vornimmt oder wenn es die Zweckbestimmung des eingesetzten KI-Systems so verändert, dass es dadurch in die Hochrisiko-Kategorie fällt.
Quelle: Witt Legal GmbH & Co. KG
II. Der Pflichtenkatalog für Hochrisiko-KI-Betreiber
Ungeachtet besonderer Pflichten für staatliche Stellen gelten für Betreiber von Hochrisiko-KI-Systemen nach KI-VO die folgenden Pflichten:
Quelle: Witt Legal GmbH & Co. KG
1. Wie ist der ordnungsgemäße Betrieb sicherzustellen?
Betreiber müssen eine Aufsichtsperson bestimmen, diese systemspezifisch schulen, ihr entsprechende Befugnisse erteilen und die für eine wirksame Aufsicht notwendigen Ressourcen zur Verfügung stellen. Die Details der menschlichen Aufsicht können dem Blogbeitrag „Wie viel Mensch verlangt das Recht? Anforderungen an menschliche Aufsicht und Einflussnahme nach KI-VO und DSGVO“ entnommen werden. Für einen ordnungsgemäßen Betrieb müssen Betreiber ferner sicherstellen, dass das System entsprechend der Betriebsanleitung verwendet wird, die Eingabedaten der Zweckbestimmung des Systems entsprechen und repräsentativ sind, der Betrieb anhand der Betriebsanleitung überwacht und bei Annahme eines Risikos ausgesetzt wird. Diese Pflichten lassen sich nicht immer klar voneinander trennen. Sie haben insbesondere gemeinsam, dass es stets auf die Betriebsanleitung, die Zweckbestimmung oder das Vorliegen eines Risikos ankommt. Die Pflichten lassen sich daher nur dann adäquat erfüllen, wenn sich der Betreiber mit der Betriebsanleitung, der genauen Zweckbestimmung des Systems und den spezifischen Risiken auseinandersetzt.
2. Welche Dokumentationspflichten treffen Betreiber?
Bei der Pflicht, automatisch erzeugte Protokolle aufzubewahren, trägt der Gesetzgeber dem Umstand Rechnung, dass Protokollierung nicht vollständig in der Sphäre des Betreibers stattfindet, sondern z.T. auch anbieterseitig erfolgt: Der Betreiber muss die Dokumentationspflicht nur so weit erfüllen, wie die Protokolle seiner Kontrolle unterliegen. Die Aufbewahrung muss für einen angemessenen Zeitraum erfolgen, grundsätzlich mindestens sechs Monate. Längere Zeiträume können sich aus branchenspezifischen Vorgaben ergeben, kürzere Zeiträume beispielsweise aus den Datenverarbeitungsgrundsätzen und Betroffenenrechten der DSGVO. Für die technischen Details der Protokollierung wird es künftig harmonisierte Normen geben, die die Betreiber dann berücksichtigen sollten.
Vor der Inbetriebnahme bestimmter Hochrisiko-KI-Systeme, namentlich solcher zur Kreditwürdigkeitsprüfung bzw. Bonitätsbewertung und solcher zur Risikobewertung bzw. Preisbildung bei Lebens- und Krankenversicherungen, hat der Betreiber eine sog. Grundrechte-Folgenabschätzung durchzuführen. Bei sonstigen, von privaten Unternehmen verwendeten Hochrisiko-KI-Systeme besteht keine derartige Pflicht, sofern keine öffentlichen Dienste erbracht werden. Eine solche Grundrechte-Folgenabschätzung enthält eine dokumentierte Darstellung und Bewertung mindestens folgender Aspekte: Kontext, Zeitraum und Häufigkeit der Verwendung; betroffene Personen(-gruppen); Schadensrisiken; Aufsichtsmaßnahmen; Risikominderungsmaßnahmen. In der Praxis kann es sich anbieten, die Grundrechte-Folgenabschätzung mit der ggf. ebenfalls durchzuführenden Datenschutz-Folgenabschätzung zu verbinden. Betreiber sollten etwaige bereits anbieterseitig durchgeführte Grundrechte-Folgenabschätzungen berücksichtigen. Bei Änderungen am System oder Nutzungskontext sind erforderlichenfalls Aktualisierungen vorzunehmen. Die Ergebnisse der Grundrechte-Folgenabschätzung sind der Marktüberwachungsbehörde mitzuteilen.
3. Wen und worüber haben Betreiber zu informieren?
Die Informationspflichten unterscheiden sich sowohl bei ihren Auslösern als auch beim zu informierenden Personenkreis. Vor Inbetriebnahme eines am Arbeitsplatz eingesetzten Hochrisiko-KI-Systems muss der Betreiber die Arbeitnehmer(-vertreter) informieren. Bei Grund zur Annahme eines Risikos und bei schwerwiegenden Vorfällen müssen die Marktüberwachungsbehörden in Kenntnis gesetzt und der Anbieter/Händler/Einführer des Systems informiert werden. Wird das System eingesetzt, um eine Entscheidung zu treffen, die eine natürliche Person betrifft, muss der Betroffene über die Verwendung des Systems informiert werden. Handelt es sich dabei um eine Entscheidung mit rechtlicher Auswirkung oder ähnlich erheblicher Beeinträchtigung der Gesundheit, Sicherheit oder Grundrechte, muss auf Verlangen des Betroffenen hin sogar erklärt werden, welche Rolle das KI-System im Entscheidungsprozess eingenommen hat und was die wichtigsten Elemente der getroffenen Entscheidung waren. Auch für die Informationspflichten kommt es also entscheidend darauf an, wie genau das KI-System eingesetzt wird und welche Risiken dadurch entstehen.
4. Inwiefern müssen Betreiber mit Behörden kooperieren?
Die allgemeine Kooperationspflicht tritt neben die Pflicht, Behörden über Risiken und schwerwiegende Vorfälle zu informieren, und betrifft vor allem die Maßnahmen der auf nationaler Ebene eingerichteten Marktüberwachungsbehörden. Wie weit die vage geregelte Kooperationspflicht in der Praxis reicht, ist noch nicht geklärt.
III. Ausnahmen von Betreiberpflichten
Insbesondere in folgenden Fällen können Betreiber von den Hochrisiko-KI-Pflichten nach KI-VO ausgenommen sein:
Entweder sie setzen das KI-System, welches grundsätzlich in die Hochrisiko-Kategorie fällt, so ein, dass es ausnahmsweise nicht die Hochrisiko-Pflichten auslöst. Dies ist gem. Art. 6 Abs. 3 KI-VO (verkürzt ausgedrückt) dann möglich, wenn das System nicht zur Vollautomatisierung von Entscheidungsprozessen, sondern als bloßes Hilfsmittel menschlicher Entscheidungsfindung genutzt wird und deshalb im konkreten Fall keine erheblichen Risiken birgt. Dabei ist die Gegenausnahme des Profilings zu beachten.
Oder Unternehmen entgehen der Betreiberrolle nach KI-VO, indem sie ein anderes Unternehmen mit dem eigenverantwortlichen Betrieb des KI-Systems beauftragen. Abhängig vom zu prüfenden Einzelfall unter Berücksichtigung des Einflusses auf die KI-Nutzung und der Vertragsgestaltung kann es in diesen Fällen an einem „Verwenden in eigener Verantwortung“ i.S.d. Betreiber-Definition fehlen, sodass ausschließlich das beauftragte Unternehmen als Betreiber anzusehen ist (vertiefend hierzu Schuh/Witt, EuDIR 2025, 142).
IV. Praxishinweise für die Vertragsgestaltung
Ein Großteil der Pflichten, die für Hochrisiko-KI-Betreiber gelten, können nur sinnvoll eingehalten werden, wenn eine detaillierte Betriebsanleitung existiert, die Zweckbestimmung klar definiert ist und Risiken adäquat abgeschätzt werden können. Daher sollten Betreiber bei der Vertragsgestaltung mit dem Anbieter darauf hinwirken, dass Informations- und Mitwirkungspflichten des Anbieters und ggf. weitere Klauseln aufgenommen werden, die es dem Betreiber ermöglichen, seinen Pflichten nachzukommen. Entsprechende Pflichten regelt teilweise die KI-VO selbst. Eine zusätzliche vertragliche Festlegung und Konkretisierung gewährt dem Betreiber vertragliche Ansprüche gegen den Anbieter für den Fall, dass es dem Betreiber aufgrund anbieterseitiger Versäumnisse unmöglich wird, KI-VO-Compliance herzustellen. Um hinsichtlich der Dokumentationspflichten mehr Klarheit zu schaffen, bietet es sich außerdem an, vertraglich zu bestimmen, unter wessen Kontrolle die Protokolle stehen. Schließlich kann auch die betreiberseitige Pflicht, den Anbieter über etwaige Risiken oder Vorfälle zu informieren, Vertragsbestandteil werden.
V. Fazit
Betreiber von Hochrisiko-KI-Systemen haben weniger Pflichten zu erfüllen als deren Anbieter, sollten den Compliance-Aufwand aber nicht unterschätzen. Der Kern der Betreiberpflichten liegt in der Sicherstellung des ordnungsgemäßen Betriebs. Um die entsprechenden, miteinander zusammenhängenden Pflichten erfüllen zu können, sind Betreiber auf anbieterseitige Mitwirkung angewiesen. Dies sollte im Vertrag zwischen Anbieter und Betreiber adressiert werden.
Bei Verstößen gegen die Hochrisiko-Betreiberpflichten drohen Bußgelder (bis zu 15 Mio. EUR oder 3 % des gesamten weltweiten Jahresumsatzes), weitere behördliche Maßnahmen, Klagen von Betroffenen oder Mitbewerbern und Reputationsschäden.