Es gibt eine Art, die menschliche Aufsicht auf dem Papier zu erfüllen, die nichts bringt: Man setzt eine Person vor eine Warteschlange mit Vorschlägen des Systems und gibt ihr einen Button „Freigeben“. Nach einer Woche gibt sie fast alles frei, in wenigen Sekunden, weil das System meistens richtig liegt und sich die sorgfältige Prüfung jedes Falls für niemanden lohnt.
Dieser Effekt hat einen Namen, Automatisierungsbias, und wird in Luftfahrt und Medizin seit Jahrzehnten untersucht. Die KI-Verordnung erwähnt ihn ausdrücklich. Dieser Beitrag erklärt, was das Gesetz verlangt, warum Aufsicht scheitert und wie Sie messen, ob sie in Ihrem System funktioniert.
Was die KI-Verordnung verlangt
Artikel 14 gilt für Hochrisikosysteme. Für die Systeme aus Anhang III (Personalauswahl, Kredit, Versicherungen, Bildung, grundlegende Dienste) wird er nach der Verschiebung durch den Digital-Omnibus ab dem 2. Dezember 2027 verpflichtend. Das System muss so gestaltet sein, dass die Person, die es beaufsichtigt:
- seine Fähigkeiten und Grenzen versteht und seinen Betrieb überwacht, um Anomalien zu erkennen;
- sich der Neigung bewusst bleibt, sich zu sehr auf die Vorschläge des Systems zu verlassen, also des Automatisierungsbias, vor allem wenn das System Empfehlungen gibt, über die ein Mensch entscheidet;
- seine Ausgabe richtig interpretiert;
- entscheiden kann, es nicht zu nutzen, oder seine Vorschläge ignorieren, außer Kraft setzen oder rückgängig machen kann;
- eingreifen oder es anhalten kann.
Artikel 26 ergänzt den Teil, der das Unternehmen betrifft, das das System einsetzt (den Betreiber): Es muss die Aufsicht Personen mit der nötigen Kompetenz, Schulung und Befugnis übertragen und ihnen die Unterstützung geben, die sie brauchen. Hier überschneidet sich das Thema mit der KI-Kompetenz.
Warum Aufsicht scheitert
2010 werteten Raja Parasuraman und Dietrich Manzey die Forschung dazu aus, wie Menschen automatisierte Systeme im Flugzeugcockpit, in der medizinischen Diagnostik und in der Industriesteuerung nutzen (Complacency and Bias in Human Use of Automation). Zwei ihrer Schlussfolgerungen gelten direkt für KI:
- Je zuverlässiger das System, desto weniger wird geprüft. Liegt es in 95 % der Fälle richtig, sucht die Person nicht mehr nach den übrigen 5 %. Freigeben ohne hinzusehen ist im Alltag die Strategie, die am besten funktioniert, bis zu dem Tag, an dem sie versagt.
- Erfahrung und Schulung beseitigen den Effekt nicht. Auch Fachleute sind betroffen. Was ihn verringert, ist die Gestaltung der Aufgabe: welche Informationen man sieht, in welcher Reihenfolge und welche Folgen ein Fehler hat.
Der bekannteste europäische Fall ist die Kindergeldaffäre (Toeslagenaffaire) in den Niederlanden. Die Steuerverwaltung nutzte ein Risikomodell, um möglichen Betrug zu markieren, und die Markierungen des Modells wurden wie Beweise behandelt: Tausende Familien mussten Leistungen zurückzahlen, die ihnen zustanden. Die Regierung trat im Januar 2021 zurück, und die Datenschutzbehörde verhängte später ein Bußgeld gegen die Steuerverwaltung, weil sie die Staatsangehörigkeit in der Verarbeitung verwendet hatte. Es waren Menschen am Prozess beteiligt, aber in der Praxis entschied das System.
So gestalten Sie Aufsicht, die funktioniert
Zeigen Sie die Belege, nicht nur das Ergebnis. „Kandidat abgelehnt“ lässt sich nicht prüfen. „Abgelehnt, weil Abschluss X fehlt: Im Lebenslauf steht Y“ schon. Wenn das System nicht erklären kann, worauf es sich stützt, hat die Person nichts zu prüfen.
Fragen Sie bei einem Teil der Fälle die Entscheidung ab, bevor Sie den Vorschlag zeigen. In einer Stichprobe entscheidet die Person zuerst und sieht erst danach, was das System vorgeschlagen hat. Stimmen beide fast immer überein, gut. Stimmt die Person deutlich öfter zu, wenn sie den Vorschlag vorher sieht, schreibt sie ab.
Trennen Sie ab, was nicht ungeprüft bleiben darf. Einen Bewerber ablehnen, eine Leistung verweigern oder jemanden als Betrugsverdachtsfall markieren sind Entscheidungen, die einem Menschen schaden, und dort muss die Prüfung vollständig sein. Ein Ticket klassifizieren oder eine Antwort vorschlagen lässt sich stichprobenartig prüfen.
Sorgen Sie dafür, dass Widersprechen so viel kostet wie Freigeben. Ist Freigeben ein Klick und Ablehnen ein Formular mit fünf Feldern, drängt das Design zur Freigabe. Verlangen Sie in beiden Fällen eine Begründung oder in keinem.
Begrenzen Sie die Last. Eine Person mit 400 Fällen am Tag beaufsichtigt nichts. Rechnen Sie aus, wie lange ein gründlich geprüfter Fall dauert, und bemessen Sie das Team nach dieser Zahl.
Bauen Sie einen Stopp-Knopf ein. Jemand muss das System abschalten und zum manuellen Prozess zurückkehren können, ohne drei Abteilungen um Erlaubnis zu fragen. Und dieser manuelle Prozess muss weiter existieren.
So messen Sie, ob sie funktioniert
Drei Kennzahlen, von der einfachsten bis zur aussagekräftigsten:
| Kennzahl | Was sie zeigt | Warnsignal |
|---|---|---|
| Freigabequote | Wie oft das System korrigiert wird | Dauerhaft über 98-99 %, wenn bekannt ist, dass das System häufiger irrt |
| Zeit pro Prüfung | Ob Zeit bleibt, überhaupt etwas zu prüfen | Sekunden bei Fällen, die das Lesen eines Dokuments erfordern |
| Erkennung von Kontrollfällen | Ob die Person die Fehler findet | Weniger als die Hälfte der absichtlich eingebauten Fehler erkannt |
Erst die dritte sagt wirklich etwas aus. Dafür schleusen Sie von Zeit zu Zeit Vorschläge des Systems in die Warteschlange, von denen Sie wissen, dass sie falsch sind (ein gut qualifizierter Kandidat als abgelehnt markiert, ein korrekter Antrag als Betrug markiert), und zählen, wie viele die Person entdeckt. Es ist dieselbe Idee, mit der Sicherheitskontrollen an Flughäfen Testkoffer einsetzen. Wenn die Kontrollfälle durchrutschen, ohne dass jemand sie bemerkt, rutschen auch die echten Fehler durch.
Diese Kennzahlen müssen pro Person und Zeitraum erfasst und ausgewertet werden. Sie dienen nicht dazu, die Aufsichtspersonen zu sanktionieren: Eine niedrige Erkennungsrate weist meist auf ein Problem bei der Aufgabengestaltung, der Last oder der Schulung hin.
Wo Sie anfangen
Wenn Sie bereits ein System mit menschlicher Prüfung betreiben, ziehen Sie die Freigabequote und die durchschnittliche Zeit pro Fall der letzten drei Monate heraus. Meist reicht das, um zu sehen, ob die Prüfung echt ist. Sehen die Zahlen schlecht aus, beginnt die Lösung beim Design der Prüfmaske, noch vor der Schulung.
Die Messung der menschlichen Aufsicht ist einer der Tests in unserem Audit für verantwortungsvolle KI, zusammen mit den Bias-Tests und der Transparenzprüfung. Den vollständigen Zeitplan der Pflichten finden Sie im Leitfaden zur KI-Verordnung.