Was bedeutet menschliche Aufsicht bei KI-Systemen laut Gesetz?

Der EU AI Act ist seit 2024 in Kraft und bringt für Unternehmen in Deutschland konkrete rechtliche Pflichten mit sich. Eine der zentralen Anforderungen ist die sogenannte menschliche Aufsicht über KI-Systeme – ein Thema, das IT-Teams, Compliance-Verantwortliche und Führungskräfte gleichermaßen beschäftigt.

Was versteht das Gesetz unter menschlicher Aufsicht bei KI?

Menschliche Aufsicht bei KI-Systemen bedeutet laut EU AI Act, dass Menschen in der Lage sein müssen, den Betrieb eines KI-Systems zu verstehen, zu überwachen, einzugreifen und es notfalls zu stoppen. Das Gesetz bezeichnet dies als „Human Oversight“ und macht es zur Grundvoraussetzung für den rechtmäßigen Einsatz von KI in bestimmten Bereichen.

Human Oversight ist dabei ein aktiver Prozess: Es reicht nicht, dass theoretisch jemand eingreifen könnte. Das System muss so gestaltet sein, dass Aufsichtspersonen Ergebnisse tatsächlich nachvollziehen und bewerten können – Entscheidungen der KI müssen transparent sein, blindes Vertrauen in Systemausgaben ist nicht zulässig.

Für welche KI-Systeme gilt die Aufsichtspflicht?

Die Aufsichtspflicht gilt vor allem für Hochrisiko-KI-Systeme – also Systeme in sensiblen Bereichen wie Personalverwaltung, Bildung, Gesundheitswesen, Strafverfolgung oder kritischer Infrastruktur. Ein KI-System gilt als Hochrisiko, wenn es in einem der im Anhang III des EU AI Act gelisteten Bereiche eingesetzt wird und erhebliche Auswirkungen auf Rechte oder Sicherheit von Menschen haben kann – etwa bei Einstellungsentscheidungen, Kreditvergaben oder medizinischen Diagnosen.

Welche konkreten Pflichten entstehen für Unternehmen?

Unternehmen, die Hochrisiko-KI-Systeme einsetzen oder entwickeln, müssen technische und organisatorische Maßnahmen zur menschlichen Aufsicht umsetzen. Die wichtigsten Pflichten im Überblick:

• Das KI-System muss für Aufsichtspersonen nachvollziehbar sein.
• Es muss eine Möglichkeit geben, das System zu stoppen oder Ausgaben zu überschreiben.
• Aufsichtspersonen müssen identifiziert und geschult werden.
• Prozesse für die regelmäßige Überprüfung von KI-Entscheidungen müssen dokumentiert sein.
• Betriebsprotokolle des Systems müssen geführt werden.

Was ist der Unterschied zwischen Betreiber- und Anbieterpflichten?

Der EU AI Act unterscheidet klar zwischen Anbietern (Entwickler und Vermarkter eines KI-Systems) und Betreibern (Unternehmen, die ein System im eigenen Kontext einsetzen). Anbieter müssen sicherstellen, dass ihr KI-System technisch so gebaut ist, dass menschliche Aufsicht möglich ist: erklärbare Ausgaben, Abschaltoption und ausreichende Dokumentation. Betreiber müssen geeignete Aufsichtspersonen benennen und schulen, das System ausschließlich im vom Anbieter vorgesehenen Rahmen einsetzen sowie Abweichungen und Probleme dokumentieren.

Was droht bei fehlender menschlicher Kontrolle über KI?

Wer die Anforderungen nicht erfüllt, riskiert empfindliche Strafen: Bei schweren Verstößen sieht der EU AI Act Bußgelder von bis zu 30 Millionen Euro oder sechs Prozent des weltweiten Jahresumsatzes vor. Für Verstöße gegen Hochrisiko-Anforderungen – einschließlich der Aufsichtspflicht – sind bis zu 20 Millionen Euro oder vier Prozent des Jahresumsatzes möglich.

Wie bereiten sich IT-Teams auf die Aufsichtspflicht vor?

1. KI-Inventar erstellen: Alle eingesetzten KI-Systeme erfassen und dokumentieren.
2. Risikoklasse bestimmen: Prüfen, ob ein System als Hochrisiko eingestuft werden muss.
3. Verantwortliche benennen: Klare Zuständigkeiten für die Aufsicht festlegen.
4. Schulungen durchführen: Aufsichtspersonen müssen verstehen, wie das KI-System funktioniert und wann sie eingreifen müssen.
5. Prozesse dokumentieren: Alle Aufsichtsmaßnahmen schriftlich festhalten und regelmäßig überprüfen.
6. Technische Maßnahmen prüfen: Sicherstellen, dass das System Erklärbarkeit und Abschaltoptionen bietet.

So unterstützen wir dich bei der KI-Aufsichtspflicht

Wir bei mITSM helfen dir und deinem Team dabei, die Anforderungen an Human Oversight und KI-Regulierung in Deutschland konkret umzusetzen. Das bieten wir dir:

• Praxisnahe Schulungen zum EU AI Act und zu den Pflichten für Betreiber und Anbieter von KI-Systemen
• Zertifizierungen über ICO-Cert als anerkannten Zertifizierungspartner für KI-Themen, die den Marktwert auf dem Arbeitsmarkt konkret steigern
• Inhouse-Seminare unter Berücksichtigung Ihrer Unternehmenssituation
• Online-Live-Schulungen und E-Learning-Formate für flexible Weiterbildung im Tagesgeschäft

Lass uns gemeinsam dafür sorgen, dass dein Team die menschliche Aufsicht über KI-Systeme souverän umsetzt. Schau dir jetzt unsere KI-Schulungen an und finde das passende Angebot für dein Team.

22.06.2026