Klotzkette Menschliche Aufsicht — Art. 14 KI-VO
Pflicht 1 — Systemseitige Maßnahmen zur menschlichen Aufsicht (Art. 14 Abs. 1 KI-VO)
Anbieter müssen Hochrisiko-KI-Systeme so konzipieren, dass sie durch natürliche Personen wirksam beaufsichtigt werden können. Die Maßnahmen zur menschlichen Aufsicht müssen in das System integriert sein, bevor es in Verkehr gebracht oder in Betrieb genommen wird.
Maßnahmen können umfassen:
- Schnittstellen, über die Aufsichtspersonen die Leistung des Systems beobachten können
- Mechanismen zur Deaktivierung (Stop-Button) oder zum Eingriff in die Systementscheidungen
- Anzeigen und Warnmeldungen bei ungewöhnlichen Ergebnissen oder Konfidenzunterschreitungen
Pflicht 2 — Verstehen der Systemfähigkeiten und -grenzen (Art. 14 Abs. 4 lit. a KI-VO)
Aufsichtspersonen müssen in der Lage sein, die Fähigkeiten und Grenzen des Systems vollständig zu verstehen. Der Anbieter muss sicherstellen, dass das System so gestaltet ist, dass dieses Verständnis möglich ist (Erklärbarkeit, Transparenz der Ausgaben).
Prüffragen:
- Liefert das System ausreichende Erklärungen oder Konfidenzwerte zu seinen Ausgaben?
- Können Aufsichtspersonen die Ausgaben sinnvoll bewerten, ohne das System zu "blind" zu vertrauen?
Pflicht 3 — Schutz vor Over-Reliance / Automation Bias (Art. 14 Abs. 4 lit. b KI-VO)
Das System muss so gestaltet sein, dass das Phänomen der übermäßigen Abhängigkeit von automatisierten Ausgaben (Automation Bias) erkannt und verhindert werden kann. Aufsichtspersonen dürfen nicht durch die Systemgestaltung dazu verleitet werden, Ausgaben unkritisch zu übernehmen.
Prüffragen:
- Gibt es Mechanismen, die Aufsichtspersonen aktiv zur Überprüfung von Ausgaben auffordern?
- Sind Ausgaben so präsentiert, dass eine kritische Bewertung erleichtert wird?
Pflicht 4 — Erkennung von Anomalien (Art. 14 Abs. 4 lit. c KI-VO)
Aufsichtspersonen müssen in der Lage sein, Anomalien, Funktionsstörungen und unerwartetes Verhalten des Systems zu erkennen und darauf zu reagieren. Das System muss entsprechende Signale liefern.
Pflicht 5 — Eingriffs- und Stopp-Möglichkeit (Art. 14 Abs. 4 lit. d KI-VO) — Stop-Button-Konzept
Das System muss jederzeit deaktiviert, abgebrochen oder seine Entscheidung durch eine Aufsichtsperson überschrieben werden können. Diese Funktion muss technisch zuverlässig und für Aufsichtspersonen zugänglich sein.
Prüffragen:
- Gibt es eine technische Möglichkeit, das System jederzeit zu stoppen?
- Ist diese Funktion dokumentiert und für zuständige Aufsichtspersonen erreichbar?
Pflicht 6 — Kompetenzanforderungen an Aufsichtspersonen (Art. 14 Abs. 5 KI-VO)
Für biometrische Identifikationssysteme und andere Hochrisiko-KI-Systeme mit hohem Grundrechtseingriff gelten besondere Anforderungen: Die Aufsichtspersonen müssen über ausreichende Kompetenzen, Ausbildung und Befugnisse verfügen, um wirksam eingreifen zu können.
Prüffragen:
- Sind Aufsichtspersonen ausreichend geschult?
- Haben sie die Befugnis, Systementscheidungen zu überschreiben?
Verantwortungsverteilung
Anbieter: Muss die technischen Mittel zur menschlichen Aufsicht bereitstellen und in der Gebrauchsanweisung beschreiben (Art. 13 i.V.m. Art. 14 KI-VO).
Betreiber: Muss die menschliche Aufsicht tatsächlich organisieren, qualifizierte Aufsichtspersonen einsetzen und dafür sorgen, dass diese die Aufsichtsfunktion wahrnehmen (Art. 26 Abs. 1 und 2 KI-VO).
Typische Praxisprobleme
- System hat einen theoretischen Stopp-Button, aber keine klaren Verfahren, wann und wie er verwendet wird.
- Aufsichtspersonen wurden nicht ausreichend geschult.
- System präsentiert Ausgaben so, dass eine unabhängige Überprüfung schwierig ist.
- Kein dokumentierter Eskalationsprozess für den Fall, dass Aufsichtspersonen Ausgaben anzweifeln.
Hinweis: Keine Rechtsberatung. Mechanische Prüfung anhand vom Nutzer behaupteter Tatsachen. Die KI-VO ist in Auslegung und Konkretisierung dynamisch; Leitlinien der Kommission und Durchführungsrechtsakte sind laufend zu beobachten.
Zentrale Normen (Paragrafenkette)
- Art. 3 Nr. 3/4 KI-VO — Anbieter / Betreiber-Definition
- Art. 5 KI-VO — verbotene Praktiken (absolut ab 02.02.2025)
- Art. 6 i.V.m. Anhang III KI-VO — Hochrisiko-Klassifikation
- Art. 26 KI-VO — Betreiberpflichten
- Art. 99 KI-VO — Bussgelder bis 35 Mio. EUR / 7 % Jahresumsatz
Triage zu Beginn
- Welche Rolle hat das Unternehmen im KI-Lieferkette (Art. 3 KI-VO — Anbieter, Betreiber, Importeur)?
- Liegt ein Hochrisiko-System vor (Art. 6 i.V.m. Anhang III Nr. 1-8 KI-VO)?
- Sind verbotene Praktiken nach Art. 5 KI-VO ausgeschlossen?
- Welche konkreten Pflichten aus dem aktuellen Skill-Kontext sind einschlaegig?
- Ist die Maßnahme nach aktuellem Art. 113- und Digital-Omnibus-Zeitstrahl fristgerecht umgesetzt?
Output-Template — Prüfergebnis
Adressat: Prüfer / Rechtsberater — Tonfall: strukturiert-rechtlich
PRUEFERGEBNIS — HOCHRISIKO MENSCHLICHE AUFSICHT ART 14
[DATUM] — System: [SYSTEMNAME] — Mandant: [NAME MANDANT]
[AKTENZEICHEN]
Gepruefte Norm(en): [Art. 14 Rn. 5]
Ergebnis:
[ ] Anforderung erfuellt
[ ] Anforderung nicht erfuellt — Massnahmen erforderlich:
1. [MASSNAHME — Verantwortlicher: NAME — Frist: DATUM]
[ ] Nicht einschlaegig — Begruendung: [BEGRUENDUNG]
Sanktionsrisiko: [NIEDRIG / MITTEL / HOCH — bis [BETRAG] nach Art. 99 KI-VO]
Naechster Skill: [FOLGE-SKILL]
Geprueft: [NAME], [DATUM]
Quellenregel: Entscheidungen nur nach Prüfung einer amtlichen oder frei zugänglichen Quelle mit Gericht, Entscheidungsform, Datum, Aktenzeichen und tragender Aussage ausgeben.