Eine KI liefert in Sekunden einen Entwurf, eine Empfehlung oder eine Analyse. Der Mensch soll nur noch prüfen. Auf dem Papier klingt das nach einer komfortablen Arbeitsteilung.
Der Haken steckt im Wort „prüfen“. Wer einen Fehler erkennen soll, braucht einen Maßstab außerhalb des Systems. Wer eine Empfehlung verwerfen soll, muss wissen, wann Zweifel berechtigt sind. Und wer Verantwortung behält, braucht mehr als die Fähigkeit, einen Prompt zu schreiben.
Human Oversight ist deshalb kein Häkchen im Prozessdiagramm. Es ist eine eigene Arbeitsleistung – und sie lässt sich trainieren.
Prüfen ist eine eigene Arbeit
Der EU AI Act macht das für Hochrisiko-KI ungewöhnlich konkret. Artikel 14 beschreibt menschliche Aufsicht nicht als bloße Anwesenheit einer Person. Die zuständigen Menschen sollen Fähigkeiten und Grenzen des Systems verstehen, Auffälligkeiten erkennen, Ausgaben richtig interpretieren und sich der Gefahr bewusst sein, automatisierten Ergebnissen zu stark zu vertrauen. Sie müssen eine Ausgabe im Einzelfall auch ignorieren, überstimmen oder das System stoppen können.
Diese Regel gilt nicht pauschal für jede Text-KI im Büro. Als Beschreibung dessen, was ernst gemeinte Aufsicht praktisch verlangt, ist sie trotzdem aufschlussreich.
Denn die Alternative „KI macht, Mensch schaut noch einmal drauf“ lässt offen, woran dieser Mensch ein gutes Ergebnis erkennt.
- Ein Reviewer braucht einen Qualitätsmaßstab, der nicht aus derselben KI-Ausgabe stammt.
- Systemgrenzen und typische Fehlermuster gehören zum Lernziel.
- Übungen sollten auch falsche, plausible und unvollständige Ergebnisse enthalten.
- Kompetenz zeigt sich daran, ob jemand begründet akzeptiert, korrigiert, verwirft oder eskaliert.
Dass diese Unterscheidung relevant ist, zeigt die Forschung zu Automation Bias. In fünf vorregistrierten Experimenten zur Personalauswahl mit insgesamt 1.403 Teilnehmenden verschlechterte falscher KI-Rat die Entscheidungen, weil Menschen die fehlerhafte Empfehlung nicht zuverlässig verwarfen. Verschiedene getestete Erklärungen der KI beseitigten diese Übernahme falscher Empfehlungen nicht.
Das heißt nicht, dass KI-Unterstützung Entscheidungen generell verschlechtert. Eine ältere experimentelle Untersuchung mit 26 britischen Hausärzten zeigte ein gemischtes Bild: Die automatisierte Entscheidungshilfe verbesserte die Genauigkeit insgesamt, führte in einzelnen Fällen aber auch dazu, dass zuvor richtige Entscheidungen nach falschem Systemrat geändert wurden.
Beides kann gleichzeitig wahr sein. Automatisierung kann helfen – und sie kann neue Fehlerwege eröffnen.
Was ein Mensch bei KI-Aufsicht tatsächlich können muss
Für L&D wird die Frage damit konkreter. Ein allgemeiner KI-Kurs kann Grundlagen vermitteln. Er beweist noch nicht, dass jemand in seinem Arbeitskontext wirksam kontrollieren kann.
Aus den Anforderungen an menschliche Aufsicht und der Overreliance-Forschung lassen sich fünf getrennte Fähigkeiten ableiten. Sie sind kein gesetzlich vorgeschriebenes Kompetenzmodell, sondern eine praktische Synthese.
Die Person kennt fachliche Qualitätskriterien, typische Ausnahmen und plausible Größenordnungen. Ohne eigenes Referenzwissen wird Prüfung schnell zum Sprachgefühl.
Sie weiß, wofür das eingesetzte System gedacht ist, welche Informationen ihm fehlen können und welche Fehlerarten im konkreten Einsatz relevant sind.
Sie kann kritische Aussagen gegen Quellen, Daten, Regeln oder andere belastbare Referenzen prüfen, statt die KI nur um eine zweite Formulierung zu bitten.
Sie erkennt, wann eine Ausgabe akzeptiert, korrigiert oder verworfen werden muss – und kann diese Entscheidung begründen.
Sie weiß, wann Unsicherheit nicht mehr selbst auflösbar ist und ein anderer Mensch, eine Fachstelle oder ein definierter Prozess übernehmen muss.
Diese Fähigkeiten sind unterschiedlich. Ein Beschäftigter kann ein KI-Tool technisch souverän bedienen und trotzdem schwach darin sein, eine fachlich plausible Falschaussage zu erkennen. Umgekehrt kann eine erfahrene Fachkraft hervorragendes Urteil besitzen, aber die Grenzen eines neuen Systems noch nicht kennen.
Training muss deshalb beides zusammenbringen: Fachurteil und Systemverständnis.
Warum ein Grundlagenkurs zu kurz greift
Viele KI-Schulungen beginnen sinnvoll: Was kann das Werkzeug? Welche Daten dürfen hinein? Was sind Halluzinationen? Wie formuliert man gute Anweisungen?
Für die Prüferrolle fehlt danach oft der unangenehme Teil. Die Person muss mit einem Ergebnis arbeiten, das überzeugend aussieht und trotzdem falsch ist.
Genau dort entsteht das eigentliche Lernproblem. Ein offensichtlicher Fehler trainiert kaum Urteilskraft. Ein plausibler Fehler zwingt dagegen dazu, den eigenen Maßstab zu benutzen.
Die Experimente zur Personalauswahl sind hier interessant, weil selbst zusätzliche Erklärungen nicht zuverlässig verhinderten, dass falscher KI-Rat die Entscheidung beeinflusste. „Die KI erklärt ihre Empfehlung“ ist also nicht dasselbe wie „der Mensch kann ihre Empfehlung zuverlässig beurteilen“.
Auch Erfahrung spielt eine Rolle, wenn auch nicht in jedem Kontext gleich. In der kleinen Studie mit Hausärzten hing geringere klinische Erfahrung mit häufigerem Wechsel nach automatisiertem Rat zusammen. Daraus lässt sich keine allgemeine Formel für alle Berufe ableiten. Der Mechanismus ist aber plausibel: Wer weniger eigenes Referenzwissen besitzt, hat weniger Material, an dem sich eine Systemempfehlung reiben kann.
Für Weiterbildung entsteht daraus eine unbequeme Konsequenz. Wenn KI immer mehr Erstentwürfe produziert, darf Qualifizierung nicht nur lehren, diese Erstentwürfe schneller zu erzeugen. Sie muss gezielt erhalten, woran Menschen deren Qualität messen.
Training braucht absichtliche Fehler
Ein Oversight-Training, in dem die KI immer ordentlich funktioniert, testet vor allem Bedienung. Für Kontrolle braucht es andere Übungen.
Vor der KI-Ausgabe muss klar sein, was ein gutes Ergebnis ausmacht: fachliche Kriterien, zulässige Quellen, Grenzwerte, Prozessregeln oder erwartete Bestandteile.
Ein Teil der Ausgaben ist korrekt, ein Teil unvollständig, veraltet oder plausibel falsch. Der Lernende weiß vorher nicht, welcher Fall vorliegt.
Nicht nur Fehler markieren: akzeptieren, korrigieren, verwerfen oder eskalieren – jeweils mit kurzer Begründung.
Welche unabhängige Quelle oder Regel wurde benutzt? Wer nur eine zweite KI-Antwort erzeugt, hat noch keine unabhängige Kontrolle gezeigt.
Relevant ist nicht allein das Endergebnis. Auch der Prüfweg zählt: Wurde die richtige Unsicherheit erkannt? War die Eskalation angemessen? Wurde eine korrekte Ausgabe unnötig verworfen?
Dieses Übungsdesign ist eine evidenzbasierte Ableitung, kein experimentell validierter Standardlehrplan. Gerade deshalb sollte es an den konkreten Arbeitsprozess angepasst werden.
Bei einer internen Textassistenz kann ein Fehlerszenario eine erfundene Quelle oder eine falsche Zahl sein. In einem HR-Prozess können die Konsequenzen deutlich höher liegen. Dann verändern sich nicht nur die Übungen, sondern auch Freigaben, Verantwortlichkeiten und die zulässige Autonomie.
Gegenposition: Bessere KI reduziert den Prüfaufwand
Es wäre unsinnig, jede harmlose KI-Ausgabe mit einem Vier-Augen-Prozess zu überziehen. Bessere Modelle, bessere Daten und technische Kontrollen können Fehler reduzieren. Automatisierung soll gerade Arbeit abnehmen.
Die Frage ist deshalb nicht, ob Menschen alles noch einmal manuell machen müssen. Sie lautet: Welche Fehler wären relevant, wie gut sind sie erkennbar und was passiert, wenn niemand sie erkennt?
Bei leicht reversiblen Entwürfen kann Stichprobenkontrolle reichen. Bei folgenreichen Empfehlungen braucht es stärkere Sicherungen. Und wo ein System sehr zuverlässig wird, kann sich menschliche Arbeit von der Einzelprüfung stärker in Monitoring, Ausnahmebehandlung und periodische Qualitätskontrolle verschieben.
Human Oversight ist also kein Argument gegen Automatisierung. Es ist ein Argument gegen die Vorstellung, menschliche Verantwortung entstehe automatisch dadurch, dass irgendwo ein Mensch im Prozess verbleibt.
Kompetenz zeigt sich im Override
Die ILO beschreibt generative KI vor allem als Veränderung von Aufgabenbündeln. Das passt zu dem, was Unternehmen bereits praktisch erleben: Ein Teil der Erstellung wandert zur Maschine, während Auswahl, Prüfung und Verantwortung beim Menschen bleiben oder sogar wichtiger werden.
Damit ändert sich auch, was Weiterbildung nachweisen sollte.
Ein abgeschlossener Grundlagenkurs sagt, dass jemand Inhalte gesehen hat. Für eine echte Prüferrolle ist die stärkere Frage: Kann diese Person mit einem fehlerhaften, aber plausiblen KI-Ergebnis richtig umgehen?
Wer das testen will, braucht keine künstlich komplizierte Prüfung. Ein guter Fall reicht oft: klare Qualitätskriterien, eine realistische KI-Ausgabe, ein eingebauter Fehler und die Möglichkeit, das Ergebnis zu akzeptieren, zu korrigieren, zu verwerfen oder zu eskalieren.
Erst in dieser Entscheidung wird sichtbar, ob „Human in the Loop“ mehr ist als ein Kästchen im Prozessdiagramm.
Quellen
- NIST: Artificial Intelligence Risk Management Framework (AI RMF 1.0)
- NIST: Generative Artificial Intelligence Profile
- EU AI Act: Article 14 – Human oversight
- ILO: Generative AI and Jobs – A Refined Global Index of Occupational Exposure
- Scientific Reports: Explainability and incorrect AI advice
- International Journal of Medical Informatics: Automation bias