Hendrik Witt, LL.M. und David Krstic
Ein wesentlicher, gerade im Unternehmenskontext bedeutender Vorzug des Einsatzes Künstlicher Intelligenz, einschließlich KI-Agenten, liegt in ihrer Fähigkeit, Aufgaben eigenständig, schnell und (recht) zuverlässig zu erledigen. Von der KI-basierten Automatisierung wiederkehrender oder zeitaufwändiger Tätigkeiten versprechen sich Unternehmen Effizienzgewinne.
Der Zulässigkeit einer vollständigen KI-Delegation setzen insbesondere die KI-Regulierung (KI-VO) und das Datenschutzrecht (DSGVO) in gewissen Konstellationen enge Grenzen. Beide Regime verlangen unter bestimmten Voraussetzungen eine menschliche Beaufsichtigung oder sogar Einflussnahme.
Die datenschutzrechtlichen Pflichten gelten bereits seit vielen Jahren. Anbieter- und Betreiberpflichten für bestimmte Hochrisiko-KI-Systeme (wie das unten genannte HR-Recruiting-Beispiel) werden hingegen nach der derzeit geltenden Übergangsregelung zum 2. Dezember 2027 anwendbar.
Dieser Beitrag zeigt auf, welche Vorgaben sich aus der KI-VO und der DSGVO ergeben und welches Maß an menschlicher Aufsicht und Einflussnahme sie verlangen.
I. Fallbeispiel HR-Recruiting
Zur Veranschaulichung der Thematik bietet sich folgendes praxisrelevante Fallbeispiel an: Die HR-Abteilung des Unternehmens X setzt im Recruiting ein zugekauftes KI-System ein. Dieses liest eingehende Bewerbungen, gleicht sie mit dem Anforderungsprofil der jeweiligen Stellenanzeige ab und erstellt daraus eine Rangliste der Bewerber. Die zuständige Personalreferentin lädt die fünf „bestplatzierten“ Kandidaten zu einem Gespräch ein. Alle übrigen Bewerber erhalten eine automatisierte Absage.
Dieses Vorgehen birgt rechtliche Risiken. Verkennt Unternehmen X die Anforderungen, die KI-VO und DSGVO an die menschliche Aufsicht und Einflussnahme stellen, drohen beispielsweise empfindliche Bußgelder, Klagen von abgelehnten Bewerbern sowie Reputationsschäden.
II. Sinn und Zweck der menschlichen Aufsicht
Mit Vorgaben an die menschliche Aufsicht im KI- und Datenschutzkontext bezweckt der Gesetzgeber den Schutz von Grundrechten, insbesondere die Gewährleistung menschlicher Autonomie. Unbeaufsichtigte KI-gestützte Prozesse und Entscheidungen bergen das Risiko, dass Betroffene zum Objekt maschineller Abläufe werden oder Beeinträchtigungen sonstiger, grundrechtlich geschützter Interessen erfahren.
Außerdem dient menschliche Aufsicht als Korrektiv, also eine Art letztes Sicherheitsnetz, für technische Fehler oder Anfälligkeiten. Die Einbindung einer beaufsichtigenden und im Notfall einschreitenden Person fängt Risiken auf, die sonstige Compliance-Maßnahmen wie Daten-Governance oder Protokollierung nicht für sich abmildern können. Zugleich können entsprechende gesetzliche Vorgaben zu einer Sensibilität für mögliche „automation bias“ führen und dadurch verhindern, dass maschinelle Ergebnisse aufgrund eines übermäßigen Vertrauens unkritisch übernommen werden.
Schließlich schafft die Festlegung menschlicher Aufsichts- und Einflussnahmepflichten haftungsrelevante Sorgfaltsmaßstäbe. Da KI keine Rechtspersönlichkeit besitzt und nicht selbst haften kann, richten sich Verantwortungsbereiche und Kriterien der Haftungszurechnung nach den Pflichten der Anbieter und Betreiber.
III. Nebeneinander von KI-Regulierung und Datenschutz
Die KI-VO verbietet Automatisierungen nicht. Sie verlangt nicht pauschal nach menschlicher Beaufsichtigung, geschweige denn nach menschlicher Steuerung jedes KI-Einsatzes. Dies würde den Nutzen, den KI-basierte Automatisierungen versprechen, ja gerade konterkarieren. Auch das Datenschutzrecht steht automatisierten Datenverarbeitungs- und Entscheidungsfindungsprozessen nicht per se entgegen. Beide Regime verpflichten jedoch in bestimmten Konstellationen zu menschlicher Aufsicht und Einflussnahme – mit unterschiedlichen Anknüpfungspunkten und Adressaten.
Die KI-VO knüpft Pflichten zur menschlichen Aufsicht an das Vorliegen eines KI-Systems und dessen Einstufung in die Hochrisiko-Kategorie. Mit Art. 14 i.V.m. Art. 16 lit. a KI-VO wird dabei der Anbieter, also derjenige, der das System entwickelt bzw. entwickeln lässt und es im eigenen Namen in Verkehr bringt bzw. in Betrieb nimmt, adressiert. Mit Art. 26 Abs. 2 KI-VO wird auch der Betreiber in die Pflicht genommen, also derjenige, der das System in eigener Verantwortung im Rahmen einer nicht-privaten Tätigkeit verwendet.
Die DSGVO knüpft mit Art. 22 demgegenüber an die automatisierte Verarbeitung personenbezogener Daten und die ausschließlich hierauf beruhenden Einzelfallentscheidung an. Entscheidungen, die eine rechtliche Wirkung entfalten oder den Betroffenen auf sonstige Weise erheblich beeinträchtigen, können unzulässig sein, soweit kein Ausnahmetatbestand greift. Adressiert wird der datenschutzrechtlich Verantwortliche, also die Stelle, die über Zwecke und Mittel der Datenverarbeitung entscheidet.
Quelle: Witt Legal GmbH & Co. KG
IV. Die unterschiedlichen Pflichten im Einzelnen
1. Anbieterpflicht nach Art. 14 KI-VO: Aufsicht ermöglichen
Der Anbieter eines Hochrisiko-KI-Systems muss dieses so konzipieren und entwickeln (lassen), dass es während der Dauer seiner Verwendung von natürlichen Personen wirksam beaufsichtigt werden kann (Art. 14 Abs. 1 i.V.m. Art. 16 lit. a KI-VO). Der Zweck liegt darin, Risiken für die Gesundheit, Sicherheit und Grundrechte zu verhindern oder zu minimieren (Art. 14 Abs. 2 KI-VO).
Hierfür sieht Art. 14 Abs. 3 KI-VO zwei Gestaltungswege vor: Der Anbieter kann die erforderlichen Vorkehrungen selbst in das System integrieren oder Vorkehrungen bestimmen, die dann vom Betreiber umzusetzen sind. In beiden Fällen müssen die Aufsichtsvorkehrungen den Risiken, dem Autonomiegrad und dem Nutzungskontext des Systems angemessen Rechnung tragen.
Art. 14 Abs. 4 KI-VO konkretisiert schließlich, wozu die Aufsichtsperson aufgrund der anbieterseitigen, aufsichtsermöglichenden Gestaltung in der Lage sein muss: Sie muss die Fähigkeiten und Grenzen des Systems angemessen verstehen, sich des möglichen Automatisierungsbias bewusst sein, die Systemausgaben richtig interpretieren, den Einsatz des Systems ablehnen oder einzelne Ausgaben verwerfen sowie in den Betrieb eingreifen oder ihn stoppen können. Insgesamt ist hiermit eine wirksame, aber keine lückenlose Kontrollmöglichkeit geschuldet.
Konsequenz für das Fallbeispiel: Die von X eingesetzte Software ist ein KI-System. Da es zur Sichtung/Filterung von Bewerbungen und zur Bewertung von Bewerbern eingesetzt wird, fällt es in die Hochrisiko-Kategorie (Art. 6 Abs. 2 i.V.m. Anhang III Nr. 4 lit. a KI-VO). Indizien dafür, dass das System unter die Ausnahme des Art. 6 Abs. 3 KI-VO fällt, sind hier nicht ersichtlich und wären im Einzelfall zu prüfen. Hierfür müsste der System-Einsatz im konkreten Fall keine erheblichen Risiken bergen, da er das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst. Darüber hinaus greift die Ausnahme nach Art. 6 Abs. 3 UAbs. 2 S. 2 KI-VO nicht, wenn das System ein Profiling natürlicher Personen durchführt. Bei einer personenbezogenen Bewertung und Rangbildung von Bewerbern liegt ein Profiling jedenfalls nahe und ist anhand der konkreten Funktionsweise des Systems zu prüfen.
X ist jedoch nicht Anbieterin, sondern Betreiberin des Hochrisiko-KI-Systems. Die Pflicht aus Art. 14 i.V.m. Art. 16 lit. a KI-VO trifft hier den Softwarehersteller. In Bezug auf Art. 14 KI-VO sollte X bei der Beauftragung berücksichtigen, welche Aufsichtsvorkehrungen bereits anbieterseitig im System angelegt sind und welche Maßnahmen X potenziell selbst umsetzen muss. Die jeweiligen Verantwortlichkeiten sollten vertraglich klar geregelt werden.
2. Betreiberpflicht nach Art. 26 Abs. 2 KI-VO: Aufsicht ausüben (lassen)
Der Betreiber eines Hochrisiko-KI-Systems hat gemäß Art. 26 Abs. 2 KI-VO sicherzustellen, dass dessen Betrieb durch eine natürliche Person mit der hierfür erforderlichen Kompetenz, Ausbildung und Befugnis beaufsichtigt wird. Zudem muss er dieser Person die hierfür erforderliche Unterstützung zukommen lassen. Sie kann, muss aber nicht beim Betreiber angestellt sein.
Mit Blick auf das Kompetenz-, Ausbildungs- und Befugniserfordernis ist zwischen Art. 26 Abs. 2 KI-VO und Art. 4 KI-VO zu unterscheiden. Die allgemeine KI-Kompetenz, die Art. 4 KI-VO für das gesamte Personal bei der Nutzung jedes KI-Systems verlangt, genügt bei der Aufsichtsperson eines Hochrisiko-KI-Systems nicht zwingend.
Welchen konkreten Grad die Kompetenz der Aufsichtsperson haben muss, wie ihre Ausbildung zu erfolgen hat, welche Unterstützungsmaßnahmen getroffen werden müssen und insbesondere auf welche Weise und mit welchen Befugnissen die Aufsicht durchzuführen ist, präzisiert Art. 26 Abs. 2 KI-VO nicht weiter.
Indirekt gibt Art. 14 KI-VO Orientierung: Abs. 1 verlangt eine „wirksame“ Aufsicht. Abs. 2 nennt die Zwecke der Aufsicht und stellt klar, dass auch die Risiken vorhersehbarer Fehlanwendungen berücksichtigt werden müssen. Abs. 3 gibt vor, dass die Aufsicht den Risiken, dem Autonomiegrad und dem Nutzungskontext angemessen sein muss. Abs. 4 benennt konkrete Aufsichtsmaßnahmen. Je nach System und Situation kann die geschuldete Aufsicht daher von der bloßen Beobachtung und Anomalie-Erkennung über die Zurückweisung einzelner Ausgaben bis zur Betätigung einer „Stopptaste“ reichen (vgl. oben).
Konsequenz für das Fallbeispiel: Als Betreiberin eines Hochrisiko-KI-Systems (s. oben) muss X eine konkrete natürliche Person, bspw. die Personalreferentin, als Aufsichtsperson bestimmen. Diese muss über die allgemeine KI-Kompetenz des sonstigen Personals hinaus systemspezifisch geschult werden. Außerdem müssen ihr die für eine wirksame Aufsicht erforderlichen Befugnisse und Unterstützungsmaßnahmen zukommen. Das KI-System muss technisch-organisatorisch so eingebunden und schließlich auch so eingesetzt werden, dass die Personalreferentin die Bewerbungen erforderlichenfalls selbst prüfen, das Zustandekommen der Rangliste nachvollziehen und von dieser abweichen kann. Ferner muss sie in der Lage sein, die Verwendung des Systems im Recruiting-Prozess zu beenden.
3. Pflicht des Verantwortlichen nach Art. 22 DSGVO
Der datenschutzrechtlich Verantwortliche muss Art. 22 DSGVO beachten, unabhängig davon, ob er zugleich Betreiber oder Anbieter eines (Hochrisiko-)KI-Systems ist.
Nach Art. 22 Abs. 1 DSGVO dürfen Entscheidungen, die ausschließlich auf einer automatisierten Verarbeitung personenbezogener Daten (beispielsweise Profiling) beruhen und die gegenüber der betroffenen Person rechtliche Wirkung entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen, grundsätzlich nicht auf diese (vollautomatisierte) Weise getroffen werden.
Noch nicht abschließend geklärt ist, wie stark der menschliche Einfluss konkret auszugestalten ist. Fest steht jedenfalls, dass die DSGVO nicht nur eine formale Aufsicht des Systemeinsatzes/Datenverarbeitungsprozesses, sondern eine inhaltliche Verantwortung für die konkrete Einzelfallentscheidung fordert.
In der Praxis besonders relevant sind die Ausnahmen nach Art. 22 Abs. 2 DSGVO. Hiernach sind vollautomatisierte Einzelfallentscheidungen trotz rechtlicher Wirkung oder erheblicher Beeinträchtigung zulässig, wenn sie vertragserforderlich, gesetzlich erlaubt oder von der Einwilligung des Betroffenen gedeckt sind. Stützt sich der Verantwortliche auf eine Ausnahme, muss er geeignete Schutzmaßnahmen vorsehen. Dazu gehört bei Vertragserforderlichkeit oder Einwilligung gem. Art. 22 Abs. 3 DSGVO mindestens die Erfüllung der folgenden qualifizierten Betroffenenrechte: Recht auf menschliches Eingreifen; Recht auf Darlegung des eigenen Standpunkts; Recht auf Anfechtung der Entscheidung.
Konsequenz für das Fallbeispiel: X verarbeitet die personenbezogenen Daten der Bewerber als Verantwortliche i.S.d. DSGVO. Die Ablehnungsentscheidungen stellen für die betroffenen Bewerber potenziell erhebliche Beeinträchtigungen dar. Folglich besteht das Risiko, dass Art. 22 Abs. 1 DSGVO einer solchen Verarbeitung entgegensteht. Im Einzelfall ist zu prüfen, inwieweit eine automatisierte Entscheidung vorliegt und ob Ausnahmen greifen können, bspw. aufgrund der Erforderlichkeit für den Abschluss oder die Erfüllung eines Vertrags gemäß Art. 22 Abs. 2 lit. a DSGVO. Argumente in diese Richtung bieten bspw. die „Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling für die Zwecke der Verordnung 2016/679, vom 6. Februar 2018“ der Art.-29-Datenschutzgruppe auf S. 25/26, wonach eine automatisierte Entscheidungsfindung erforderlich sein kann, um aus einer ungewöhnlich hohen Zahl von zehntausenden Bewerbungen eine kurze Liste möglicher Bewerber zu erstellen. In diesem Bereich bestehen für Unternehmen weiterhin Rechtsunsicherheiten, denn einige Einzelfragen sind umstritten.
V. Wie viel Aufsicht ist genug?
Art. 14, 26 Abs. 2 KI-VO und Art. 22 DSGVO verlangen ein unterschiedliches Maß an menschlicher Aufsicht bzw. Einflussnahme. Zur Einordnung/Abgrenzung können die Begriffe „human out of the loop“, „human on the loop“ bzw. „human in command“ und „human in the loop“ herangezogen werden. Diese sind zwar weder in der KI-VO noch in der DSGVO normiert, wurden jedoch in den die KI-VO prägenden Leitlinien der Hochrangigen Expertengruppe für Künstliche Intelligenz definiert und lassen sich grob den gesetzlichen Pflichten zuordnen.
„Human out of the loop“ bezeichnet ein System ohne menschliche Eingriffs- und Kontrollmöglichkeit. Art. 14, 26 Abs. 2 KI-VO setzen für Hochrisiko-KI-Systeme einen strengeren Maßstab. Vorbehaltlich enger Ausnahmen steht auch Art. 22 DSGVO einer vollständig automatisierten Entscheidung entgegen. Hieraus folgt umgekehrt aber: Außerhalb der Hochrisiko-Kategorie und außerhalb des Anwendungsbereichs von Art. 22 Abs. 1 DSGVO kann ein solcher Betrieb zulässig sein.
„Human on the loop“ bzw. „human in command“ bezeichnet menschliche Kontroll- und Steuerungsmöglichkeiten auf Ebene der Systemgestaltung, der Festlegung von Einsatzbereichen und -zwecken sowie der Überwachung und ggf. Beendigung des Betriebs. Hier lassen sich Art. 14, 26 Abs. 2 KI-VO einordnen. Art. 14 KI-VO betrifft die aufsichtsermöglichende Gestaltung durch den Anbieter, Art. 26 Abs. 2 KI-VO die organisatorische Umsetzung und Betriebsüberwachung durch den Betreiber. Je nach Risiko, Autonomiegrad und Nutzungskontext können auch intensivere bzw. auf eine konkrete Entscheidung abzielende, in Richtung „human in the loop“ gehende Eingriffsmöglichkeiten erforderlich sein.
„Human in the loop“ bezeichnet schließlich die Einbindung eines Menschen in den konkreten Entscheidungszyklus. Art. 22 Abs. 1 DSGVO ist diesem Konzept funktional am nächsten, da er dort, wo er einschlägig ist, nicht nur die formale Überwachung des Systembetriebs und die bloße Möglichkeit eines Einschreitens, sondern eine inhaltliche Kontrolle und Verantwortung eines Menschen verlangt.
Zusammengefasst lässt sich dies wie folgt visualisieren:
Quelle: Witt Legal GmbH & Co. KG
VI. Handlungsempfehlungen und Fazit
Unternehmen, die KI-Systeme oder andere Methoden der Prozess- und Entscheidungsautomatisierung einsetzen, sollten zunächst das konkrete System und seinen Einsatzkontext prüfen: Handelt es sich um ein KI-System? Fällt es in die Hochrisiko-Kategorie? Wird es im Kontext der Verarbeitung personenbezogener Daten für Einzelfallentscheidungen mit rechtlicher Wirkung oder ähnlich erheblicher Beeinträchtigung eingesetzt? Greifen Ausnahmen der relevanten Tatbestände?
Abhängig vom Ausgang der Selbsteinstufung sind die zuvor dargestellten, unterschiedlichen Formen menschlicher Aufsicht und Einflussnahme sicherzustellen.
Die vorgesehenen und tatsächlich umgesetzten Maßnahmen menschlicher Aufsicht und Einflussnahme, einschließlich der vorgelagerten Prüfung der einschlägigen Anforderungen, sollten nachvollziehbar dokumentiert werden.
Welche weiteren Pflichten Betreiber von Hochrisiko-KI-Systemen einzuhalten haben, können Sie in unserem Blogbeitrag „Einsatz von Hochrisiko-KI im Unternehmen: Was müssen Betreiber beachten?“ nachlesen.
Für eine vertiefende Lektüre zu menschlicher Aufsicht und Einflussnahme nach Maßgabe der KI-VO und DSGVO empfiehlt sich (statt vieler) Radtke, Human Oversight under the AI Act and its interplay with Art. 22 GDPR, in: Raue et al. (Hrsg.), Artificial Intelligence and Fundamental Rights, Trier 2025, S. 91-109.