Was bedeutet menschliche Aufsicht bei KI-Systemen laut Gesetz?

Der EU AI Act ist seit 2024 in Kraft und bringt konkrete rechtliche Pflichten für Unternehmen in Deutschland mit sich. Eine der zentralen Anforderungen ist die sogenannte menschliche Aufsicht über KI-Systeme – ein Thema, das IT-Teams, Compliance-Beauftragte und Führungskräfte gleichermaßen betrifft.

Was versteht das Gesetz unter menschlicher Aufsicht über KI?

Gemäß dem EU AI Act bedeutet menschliche Aufsicht über KI-Systeme, dass Menschen in der Lage sein müssen, den Betrieb eines KI-Systems zu verstehen, zu überwachen, einzugreifen und es bei Bedarf zu stoppen. Das Gesetz bezeichnet dies als „Human Oversight“ und macht es zur grundlegenden Voraussetzung für den rechtmäßigen Einsatz von KI in bestimmten Bereichen.

Human Oversight ist ein aktiver Prozess: Es reicht nicht aus, dass jemand theoretisch eingreifen könnte. Das System muss so gestaltet sein, dass Aufsichtspersonen die Ergebnisse tatsächlich nachvollziehen und bewerten können – KI-Entscheidungen müssen transparent sein, und blindes Vertrauen in Systemausgaben ist nicht zulässig.

Für welche KI-Systeme gilt die Aufsichtspflicht?

Die Aufsichtspflicht gilt in erster Linie für Hochrisiko-KI-Systeme – also Systeme, die in sensiblen Bereichen wie Personalmanagement, Bildung, Gesundheitsversorgung, Strafverfolgung oder kritischer Infrastruktur eingesetzt werden. Ein KI-System wird als Hochrisiko eingestuft, wenn es in einem der in Anhang III des EU AI Act aufgeführten Bereiche verwendet wird und erhebliche Auswirkungen auf die Rechte oder die Sicherheit von Menschen haben kann – zum Beispiel bei Einstellungsentscheidungen, Kreditbewertungen oder medizinischen Diagnosen.

Welche konkreten Pflichten entstehen für Unternehmen?

Unternehmen, die Hochrisiko-KI-Systeme einsetzen oder entwickeln, müssen technische und organisatorische Maßnahmen zur menschlichen Aufsicht umsetzen. Die wichtigsten Pflichten im Überblick:

• Das KI-System muss für Aufsichtspersonen nachvollziehbar sein.
• Es muss eine Möglichkeit geben, das System zu stoppen oder seine Ausgaben zu übersteuern.
• Aufsichtspersonen müssen benannt und geschult werden.
• Prozesse zur regelmäßigen Überprüfung von KI-Entscheidungen müssen dokumentiert sein.
• Betriebsprotokolle des Systems müssen geführt werden.

Was ist der Unterschied zwischen den Pflichten von Betreibern und Anbietern?

Der EU AI Act unterscheidet klar zwischen Anbietern (Entwickler und Vermarkter eines KI-Systems) und Betreibern (Unternehmen, die ein System im eigenen Kontext einsetzen). Anbieter müssen sicherstellen, dass ihr KI-System technisch so aufgebaut ist, dass menschliche Aufsicht möglich ist: erklärbare Ausgaben, eine Abschaltoption und ausreichende Dokumentation. Betreiber müssen geeignete Aufsichtspersonen benennen und schulen, das System ausschließlich im vom Anbieter vorgesehenen Rahmen einsetzen sowie Abweichungen und Probleme dokumentieren.

Welche Folgen hat unzureichende menschliche Kontrolle über KI?

Wer die Anforderungen nicht erfüllt, riskiert empfindliche Strafen: Bei schwerwiegenden Verstößen sieht der EU AI Act Bußgelder von bis zu 30 Millionen Euro oder sechs Prozent des weltweiten Jahresumsatzes vor. Bei Verstößen gegen Hochrisiko-Anforderungen – einschließlich der Aufsichtspflicht – sind Bußgelder von bis zu 20 Millionen Euro oder vier Prozent des Jahresumsatzes möglich.

Wie bereiten sich IT-Teams auf die Aufsichtspflicht vor?

1. KI-Inventar erstellen: Alle im Einsatz befindlichen KI-Systeme erfassen und dokumentieren.
2. Risikoklasse bestimmen: Prüfen, ob ein System als Hochrisiko eingestuft werden muss.
3. Verantwortliche benennen: Klare Zuständigkeiten für die Aufsicht festlegen.
4. Schulungen durchführen: Aufsichtspersonen müssen verstehen, wie das KI-System funktioniert und wann sie eingreifen müssen.
5. Prozesse dokumentieren: Alle Aufsichtsmaßnahmen schriftlich festhalten und regelmäßig überprüfen.
6. Technische Maßnahmen prüfen: Sicherstellen, dass das System Erklärbarkeit und Abschaltoptionen bietet.

Wie wir dich bei der KI-Aufsichtspflicht unterstützen

Wir bei mITSM helfen dir und deinem Team dabei, die Anforderungen an Human Oversight und KI-Regulierung in Deutschland praxisnah umzusetzen. Das bieten wir dir:

• Praxisnahe Schulungen zum EU AI Act und den Pflichten für Betreiber und Anbieter von KI-Systemen – darunter Grundlagen der KI-Anwendung, KIMS Auditor und KI-Compliance Beauftragter
• Zertifizierungen durch ICO-Cert als anerkannten Zertifizierungspartner für KI-Themen, die deinen Marktwert auf dem Arbeitsmarkt konkret steigern
• Inhouse-Seminare, die auf die Situation deines Unternehmens zugeschnitten sind
• Online-Live-Trainings und E-Learning-Formate für flexible Weiterbildung neben dem Tagesgeschäft

Lass uns gemeinsam dafür sorgen, dass dein Team die menschliche Aufsicht über KI-Systeme sicher umsetzt. Entdecke jetzt unsere KI-Schulungen und finde das passende Angebot für dein Team.

Dieser Inhalt wurde mithilfe von KI erstellt und kann Fehler enthalten.