Klotzkette Datenqualität und Bias in der Human-Robot Interaction (HRI)
Fachkern: Datenqualität und Bias in der Human-Robot Interaction (HRI)
- Normen-/Quellenanker: EU-Maschinenverordnung, Produkthaftungsrecht, ProdSG/GPSR, AI Act, MDR/MPDG bei Medizinrobotik, DSGVO, Cybersecurity/NIS2 und Arbeitsschutz.
- Entscheidende Weiche: Prüfe Rolle Hersteller/Integrator/Betreiber, bestimmungsgemäße Verwendung, CE-Konformität, Sicherheitsfunktion, Lern-/Updateverhalten, Schadenpfad und Rückrufpflicht.
Worum geht es konkret
Roboter, die Menschen erkennen, klassifizieren, priorisieren oder unterstützen (Service-, Pflege-, Sicherheitsrobotik, Liefer- und autonome Mobilität, Recruiting-/Empfangsroboter) sind regelmäßig auf Trainingsdaten angewiesen, deren Qualität und Repräsentativität über Sicherheit und Diskriminierungsfreiheit entscheidet. Art. 10 KI-VO setzt für Hochrisiko-KI verbindliche Anforderungen an Daten-Governance, Repräsentativität, Bias-Behandlung und Annotationsprozesse. Dazu kommen DSGVO, AGG, BFSG und Grundrechte. Liefere Prüfschema, Test-Matrix und Vertragsklauseln.
Wann dieses Modul hilft / Kaltstart-Fragen
- Rolle: Anbieter Hochrisiko-KI, Betreiber, Auditor, Aufsichtsbehörde, betroffene Person/Verband.
- Funktion: Personenerkennung, Gestenerkennung, Spracherkennung, Verhaltensprädiktion, Risikoeinschätzung, Triage-Unterstützung.
- Trainingsdaten-Quelle: öffentlich, lizenziert, synthetisch, betriebseigene Aufnahmen, gemischt.
- Anlass: Konformitätsbewertung, Audit Notified Body, Bias-Beschwerde, AGG-Prozess, KI-VO-Inspektion.
- Unterlagen: Data Sheets, Model Cards, Annotationsrichtlinien, Test-/Validierungsberichte, Demographic Statistics.
Rechtlicher Rahmen
- KI-VO Art. 10 Daten-Governance bei Hochrisiko-KI: relevante, repräsentative, fehlerfreie und vollständige Trainings-, Validierungs- und Testdaten; Verfahren zur Erkennung möglicher Verzerrungen ("biases") und ihrer Behebung; Art. 10 Abs. 5 erlaubt Verarbeitung besonderer Kategorien (Art. 9 DSGVO) zur Bias-Korrektur unter strikten Voraussetzungen.
- KI-VO Art. 9 Risikomanagement.
- KI-VO Art. 15 Genauigkeit, Robustheit, Cybersicherheit.
- DSGVO Art. 5, 9, 22, 25, 35.
- AGG §§ 1, 2, 7, 19, 20.
- BFSG für Verbraucherrobotik.
- EU-Grundrechtecharta Art. 21 Diskriminierungsverbot.
Schritt für Schritt
- Use-Case-spezifische Datenanforderungen. Was muss der Roboter erkennen, in welcher Umgebung, bei welcher Bevölkerung?
- Data Sheet je Datensatz: Quelle, Sammelmethode, Annotatoren, Lizenzen, Verteilungsstatistiken nach geschützten Merkmalen (soweit zulässig erhebbar).
- Repräsentativitäts-Audit. Vergleich Trainings-Demografie vs. Zielpopulation; Gap-Analyse.
- Annotationsqualität. Inter-Annotator-Agreement (Cohen's Kappa), Quality Gates, Konfliktauflösung.
- Bias-Tests. Disparate Performance je Subgruppe (Confusion-Matrix pro Subgruppe; Equal Opportunity / Demographic Parity / Calibration).
- Mitigations. Re-Sampling, Re-Weighting, Data Augmentation, Synthese, Adversarial Debiasing; Folgen für Performance dokumentieren.
- Beschäftigtenkontext. Im Recruiting-/HR-Kontext besondere Vorsicht; AGG-Audit; KI-VO Anhang III Nr. 4.
- Dokumentation Art. 10 KI-VO im technischen Dossier.
- Post-Market-Monitoring Art. 72 KI-VO: kontinuierliche Bias-Überwachung nach Inverkehrbringen.
Trade-off-Matrix
| Ansatz | Pro | Contra | Empfehlung |
|---|---|---|---|
| Demographic Parity | klare Gleichheit | Performance-Einbuße | bei stark normativer Pflicht (z. B. Recruiting) |
| Equal Opportunity | TPR-Gleichheit | komplizierter | bei sicherheitsbezogenen Anwendungen |
| Synthese fehlende Subgruppen | Coverage erhöhen | Verteilungsverschiebung | nur wenn kontrolliert, mit Trennung Real vs. Synth |
| Subgruppen-Performance nicht messen | "blind" | KI-VO-Verstoß | Messung notwendig (Art. 10 Abs. 2 lit. f) |
Praxistipps
- Subgroup-Reports pro Release.
- Halbjährliches Real-World-Audit mit unabhängiger Stelle.
- Annotations-SLA mit Sub-Anbietern; Cohen's Kappa min. 0,75.
- Transparenz an Nutzer über Performance-Grenzen (Art. 13 KI-VO).
- Daten-Aufbewahrung mit Wiederverwendbarkeit für Re-Audit.
Mustertexte
Klausel Trainingsdaten-Lieferant (Auszug):
Der Lieferant stellt Trainingsdatensätze mit einem detaillierten Data Sheet im Format Anhang B bereit. Der Lieferant garantiert: (a) rechtmäßige Erhebung (DSGVO/Lizenzen), (b) Repräsentativität bezogen auf die in Anlage C definierte Zielpopulation, (c) Annotationsqualität mit Cohen's Kappa nicht unter 0,80, (d) Subgruppen-Statistik nach Alter, Geschlecht, Hautfarbe (soweit zulässig erhebbar) inklusive Performance-Erwartung. Der Lieferant haftet für Vertragsverletzungen, die zu KI-VO-Konformitätsverlust führen, mit pauschalisiertem Schadensersatz von 250.000 EUR je Vorfall; weitergehende Schäden bleiben unberührt.
Auszug Model Card (Bias-Sektion):
Bekannte Limitierungen: Die Erkennungsrate von Personen unter 1,40 m Körpergröße ist mit 92,1 % gegenüber dem Mittelwert von 97,5 % deutlich niedriger. Bei Rollstuhl-Nutzern liegt die Erkennungsrate bei 95,3 %. Empfehlung an den Betreiber: in Umgebungen mit Kindern oder Rollstuhl-Nutzern reduzierte Maximalgeschwindigkeit, redundante Sensorik aktivieren.
Typische Fehler
- Trainingsdaten nicht repräsentativ für reale Bevölkerung – AGG-/KI-VO-Risiko.
- Keine Subgruppen-Metriken dokumentiert.
- Annotationsrichtlinie informell; keine Inter-Annotator-Tests.
- Bias-Mitigation einmalig, ohne Post-Market-Monitoring.
- Drift durch Modell-Updates nicht überwacht.
Quellen Stand 06/2026
- VO (EU) 2024/1689 (KI-VO), Art. 9, 10, 13, 15, 72.
- DSGVO Art. 5, 9, 22, 35.
- AGG §§ 1, 7, 19, 20.
- EU-Grundrechtecharta Art. 21.
- BFSG.
- NIST AI Risk Management Framework; ISO/IEC TR 24027 Bias.
- Live-Verifikation auf eur-lex.europa.eu, edpb.europa.eu, BAuA, antidiskriminierungsstelle.de; lizenzierte Datenbanken (beck-online, juris) nur bei vorhandenem Zugang.