Shadow-AI und Off-label-Governance
Worum geht es?
Ein allgemeiner Chatbot ist nicht automatisch Hochrisiko. Gefährlich wird es, wenn Mitarbeiter ihn faktisch für Bewerberranking, Leistungsbeurteilung, Kreditvorauswahl, medizinische Triage, Behördenentscheidungen oder Justiznahe Sachverhaltsbewertung einsetzen, obwohl die Organisation ihn nur als Schreib- oder Recherchehilfe freigegeben hat.
Prüfspur
- Tool bestimmen: Consumer-Chatbot, Enterprise-Instanz, API, Plugin, lokales Modell, Fachsystem.
- Zweckbestimmung trennen: Anbieterzweck, Betreiberfreigabe, tatsaechliche Nutzung.
- Anhang-III-Naehe prüfen: Personal, Bildung, Kredit, Justiz, Migration, Strafverfolgung, Biometrie, kritische Infrastruktur.
- Rollenrisiko: Wird der Betreiber durch Zweckänderung oder wesentliche Änderung selbst Anbieter? Art. 25 KI-VO prüfen.
- Betreiberpflichten: Art. 26 KI-VO, Eingabedatenkontrolle, menschliche Aufsicht, Logik der Nutzung.
- Transparenz: Art. 50 KI-VO, wenn Nutzer mit KI interagieren oder Deepfakes/synthetische Inhalte entstehen.
- Schnittstellen: DSGVO Art. 22, Betriebsrat, Geheimnisschutz, Urheberrecht, Berufsrecht.
Abhilfedesign
Erzeuge einen "Use-Case-Fence":
- Erlaubt: Textentwurf, Zusammenfassung, Ideensammlung, nicht entscheidende Vorarbeit.
- Nur nach Freigabe: personenbezogene Auswertung, Ranking, Risiko-Scoring, Aktenanalyse, Rechtsprüfung, Kundenselektion.
- Verboten: autonome Entscheidung, verdecktes Profiling, Upload von Geheimnissen in nicht freigegebene Systeme, automatisiertes Bewerber- oder Kreditranking ohne Rechtsprüfung.
Dokumentation
Am Ende immer ein Kurzprotokoll:
- Freigegebener Zweck.
- Nicht freigegebene Hochrisiko-nahe Zwecke.
- Technische und organisatorische Sperren.
- Schulung nach Art. 4 KI-VO.
- Re-Evaluationstermin.
Warnsignal
Wenn die Fachabteilung sagt: "Das Tool entscheidet nicht, es empfiehlt nur", trotzdem prüfen, ob die Empfehlung praktisch entscheidungsleitend ist. Entscheidend ist die reale Wirkung im Workflow, nicht das Etikett.
1---2name: shadow-ai-und-off-label-governance3description: Für Shadow-digitale Werkzeuge und Off-label-Governance: ordnet Norm, Beweislast und Gegenargument; Ergebnis: Prüfprodukt mit Risiko und nächstem Schritt.4---56# Shadow-AI und Off-label-Governance78## Worum geht es?910Ein allgemeiner Chatbot ist nicht automatisch Hochrisiko. Gefährlich wird es, wenn Mitarbeiter ihn faktisch für Bewerberranking, Leistungsbeurteilung, Kreditvorauswahl, medizinische Triage, Behördenentscheidungen oder Justiznahe Sachverhaltsbewertung einsetzen, obwohl die Organisation ihn nur als Schreib- oder Recherchehilfe freigegeben hat.1112## Prüfspur13141. **Tool bestimmen:** Consumer-Chatbot, Enterprise-Instanz, API, Plugin, lokales Modell, Fachsystem.152. **Zweckbestimmung trennen:** Anbieterzweck, Betreiberfreigabe, tatsaechliche Nutzung.163. **Anhang-III-Naehe prüfen:** Personal, Bildung, Kredit, Justiz, Migration, Strafverfolgung, Biometrie, kritische Infrastruktur.174. **Rollenrisiko:** Wird der Betreiber durch Zweckänderung oder wesentliche Änderung selbst Anbieter? Art. 25 KI-VO prüfen.185. **Betreiberpflichten:** Art. 26 KI-VO, Eingabedatenkontrolle, menschliche Aufsicht, Logik der Nutzung.196. **Transparenz:** Art. 50 KI-VO, wenn Nutzer mit KI interagieren oder Deepfakes/synthetische Inhalte entstehen.207. **Schnittstellen:** DSGVO Art. 22, Betriebsrat, Geheimnisschutz, Urheberrecht, Berufsrecht.2122## Abhilfedesign2324Erzeuge einen "Use-Case-Fence":2526- Erlaubt: Textentwurf, Zusammenfassung, Ideensammlung, nicht entscheidende Vorarbeit.27- Nur nach Freigabe: personenbezogene Auswertung, Ranking, Risiko-Scoring, Aktenanalyse, Rechtsprüfung, Kundenselektion.28- Verboten: autonome Entscheidung, verdecktes Profiling, Upload von Geheimnissen in nicht freigegebene Systeme, automatisiertes Bewerber- oder Kreditranking ohne Rechtsprüfung.2930## Dokumentation3132Am Ende immer ein Kurzprotokoll:3334- Freigegebener Zweck.35- Nicht freigegebene Hochrisiko-nahe Zwecke.36- Technische und organisatorische Sperren.37- Schulung nach Art. 4 KI-VO.38- Re-Evaluationstermin.3940## Warnsignal4142Wenn die Fachabteilung sagt: "Das Tool entscheidet nicht, es empfiehlt nur", trotzdem prüfen, ob die Empfehlung praktisch entscheidungsleitend ist. Entscheidend ist die reale Wirkung im Workflow, nicht das Etikett.
Klotzkette