Wie regelt die KI-Verordnung den Einsatz von KI in Betrieben?

Die EU-KI-Verordnung reguliert den Einsatz künstlicher Intelligenz in Unternehmen über ein risikobasiertes System mit abgestuften Pflichten: Je höher das Risikopotenzial eines KI-Systems, desto strenger sind die Anforderungen an Dokumentation, Transparenz und menschliche Aufsicht. Betroffen sind Unternehmen, die KI-Systeme in der EU entwickeln, in Verkehr bringen oder einsetzen. Die folgenden Abschnitte beantworten die wichtigsten Fragen, die Unternehmen im Umgang mit der EU-KI-Verordnung haben.

Welche Unternehmen sind von der EU-KI-Verordnung betroffen?

Grundsätzlich sind alle Unternehmen von der EU-KI-Verordnung betroffen, die KI-Systeme in der Europäischen Union entwickeln, anbieten, einführen, vertreiben oder einsetzen. Das gilt unabhängig von der Unternehmensgröße oder dem Registrierungsort: Auch Anbieter aus Drittländern fallen unter die Verordnung, sobald ihre KI-Systeme auf dem EU-Markt eingesetzt werden.

Die Verordnung unterscheidet zwischen verschiedenen Rollen, die ein Unternehmen einnehmen kann. Als Anbieter gilt, wer ein KI-System entwickelt und in Verkehr bringt. Als Betreiber gilt, wer ein KI-System eines Drittanbieters im eigenen unternehmerischen Kontext einsetzt. Beide Rollen sind mit unterschiedlichen Pflichten verbunden, wobei Anbieter in der Regel deutlich umfangreichere Anforderungen erfüllen müssen.

Die Verordnung sieht zwar gewisse Erleichterungen für kleine und mittlere Unternehmen vor, befreit sie jedoch nicht von den grundlegenden Anforderungen. Wer KI-gestützte Tools für die Personalauswahl, Kreditbewertung, Kundenkommunikation oder Prozessautomatisierung nutzt, ist verpflichtet zu prüfen, in welche Risikokategorie die eingesetzten Systeme fallen.

Wie klassifiziert die EU-KI-Verordnung Risikostufen für KI-Systeme?

Die EU-KI-Verordnung unterteilt KI-Systeme in vier Risikostufen: unannehmbares Risiko, hohes Risiko, begrenztes Risiko und minimales Risiko. Diese Einstufung bestimmt unmittelbar, welche Compliance-Anforderungen ein Unternehmen erfüllen muss.

Verbotene KI-Systeme mit unannehmbarem Risiko

KI-Systeme, die als unannehmbares Risiko eingestuft werden, sind vollständig verboten. Dazu zählen unter anderem Systeme zur biometrischen Echtzeit-Überwachung im öffentlichen Raum, Systeme zum Social Scoring von Personen sowie KI, die eine unterschwellige Manipulation von Menschen ermöglicht. Diese Verbote gelten ab dem ersten Anwendungstag.

Hochrisiko-KI mit strengen Auflagen

KI-Systeme, die in sensiblen Bereichen eingesetzt werden, werden als hochriskant eingestuft: Beschäftigung und Personalmanagement, Bildung, kritische Infrastruktur, Strafverfolgung, Grenzkontrolle, Rechtspflege sowie der Zugang zu wesentlichen Dienstleistungen wie Krediten oder Sozialleistungen. Für diese Systeme gelten umfangreiche Pflichten, auf die weiter unten näher eingegangen wird. KI-Systeme mit begrenztem Risiko, wie etwa Chatbots, unterliegen in erster Linie Transparenzpflichten. Systeme mit minimalem Risiko, wie einfache Spamfilter, sind weitgehend unreguliert.

Welche Pflichten gelten für Unternehmen beim Einsatz von Hochrisiko-KI?

Unternehmen, die Hochrisiko-KI-Systeme einsetzen, müssen ein umfassendes Risikomanagementsystem einrichten, technische Dokumentation bereitstellen, menschliche Aufsicht gewährleisten und ihr System vor der Markteinführung einer Konformitätsbewertung unterziehen. Diese Pflichten gelten für Anbieter und in abgestufter Form auch für Betreiber.

Im Alltag bedeutet das konkret Folgendes:

• Risikomanagement: Risiken müssen systematisch identifiziert, bewertet und durch geeignete Maßnahmen minimiert werden. Dieser Prozess ist fortlaufend und keine einmalige Übung.
• Datensätze und Datenqualität: Trainingsdaten müssen relevant, repräsentativ und möglichst fehlerfrei sein. Unternehmen müssen dies dokumentieren und nachweisen können.
• Technische Dokumentation: Aufbau, Funktionsweise und Zweck des KI-Systems müssen schriftlich festgehalten werden, damit Behörden die Konformität überprüfen können.
• Transparenz und Nutzerinformation: Personen, die mit einem Hochrisiko-KI-System interagieren oder von dessen Entscheidungen betroffen sind, müssen entsprechend informiert werden.
• Menschliche Aufsicht: Es müssen technische und organisatorische Maßnahmen vorhanden sein, die es Menschen ermöglichen, die Ausgaben des Systems zu überwachen, zu korrigieren oder es zu stoppen.
• Robustheit und Cybersicherheit: Das System muss widerstandsfähig gegen Fehler und Manipulationsversuche sein.

Betreiber, die ein Hochrisiko-System eines anderen Anbieters nutzen, müssen sicherstellen, dass sie das System nur für seinen bestimmungsgemäßen Zweck einsetzen, die Betriebsanweisungen befolgen und den Anbieter über etwaige Unregelmäßigkeiten informieren. Das ISO 42001 Audit bietet einen strukturierten Rahmen, um die Konformität systematisch zu überprüfen.

Was müssen Arbeitgeber beim KI-Einsatz am Arbeitsplatz beachten?

Arbeitgeber, die KI-Systeme im HR-Bereich einsetzen – etwa zur Bewerbungsauswahl, Leistungsbewertung oder Arbeitszeitverwaltung – stehen unter besonderer Beobachtung durch die EU-KI-Verordnung. Solche Systeme fallen in der Regel in die Hochrisiko-Kategorie und unterliegen daher den strengsten Anforderungen.

Neben den Anforderungen der EU-KI-Verordnung müssen Arbeitgeber auch das Datenschutzrecht im Blick behalten. Die DSGVO stellt klare Anforderungen an die Verarbeitung personenbezogener Daten: Rechtmäßigkeit, Zweckbindung, Datensparsamkeit und Transparenz sind grundlegende Prinzipien, die auch beim KI-Einsatz gelten. Automatisierte Entscheidungen, die Beschäftigte erheblich beeinflussen, dürfen grundsätzlich nicht ohne menschliche Überprüfung getroffen werden.

Darüber hinaus haben Arbeitgeber eine Informationspflicht gegenüber den betroffenen Beschäftigten. Wer durch ein KI-System bewertet, überwacht oder eingestuft wird, hat das Recht zu wissen, dass ein solches System im Einsatz ist. Interne KI-Richtlinien, die Entwicklung, Beschaffung, Betrieb und Nutzung von KI-Systemen regeln, sind ein zentrales Instrument der KI-Governance im Unternehmen. Diese Richtlinien sollten mit bestehenden Datenschutz- und Informationssicherheitsrichtlinien abgestimmt sein.

Welche Strafen drohen bei Verstößen gegen die EU-KI-Verordnung?

Verstöße gegen die EU-KI-Verordnung können mit Bußgeldern von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist. Die konkrete Bußgeldhöhe richtet sich nach der Art des Verstoßes.

Die Bußgeldrahmen sind wie folgt abgestuft:

• Bis zu 35 Millionen Euro oder 7 % des Jahresumsatzes bei Einsatz verbotener KI-Systeme oder bei Verstößen gegen die Anforderungen für Hochrisiko-KI mit besonders schwerwiegenden Folgen.
• Bis zu 15 Millionen Euro oder 3 % des Jahresumsatzes bei Verstößen gegen sonstige Pflichten aus der Verordnung, etwa Dokumentations- oder Transparenzanforderungen.
• Bis zu 7,5 Millionen Euro oder 1,5 % des Jahresumsatzes bei falschen oder irreführenden Angaben gegenüber Behörden.

Neben Bußgeldern können Behörden auch den Rückruf oder das Verbot von KI-Systemen anordnen. Für Unternehmen, die zusätzlich gegen das Wettbewerbsrecht verstoßen – etwa durch irreführende Aussagen eines KI-Chatbots – können zudem Unterlassungsansprüche und Schadensersatzforderungen entstehen.

Wie können sich Unternehmen konkret auf die EU-KI-Verordnung vorbereiten?

Unternehmen bereiten sich auf die EU-KI-Verordnung vor, indem sie zunächst alle im Unternehmen eingesetzten KI-Systeme inventarisieren, deren Risikostufe bestimmen und anschließend die notwendigen Governance-Strukturen aufbauen. Dieser Prozess folgt einem klaren Schritt-für-Schritt-Vorgehen.

Ein bewährtes Vorgehen umfasst die folgenden Schritte:

1. KI-Inventar erstellen: Alle aktuell eingesetzten und geplanten KI-Systeme erfassen, einschließlich zugekaufter Softwarelösungen mit KI-Komponenten.
2. Risikoklassifizierung durchführen: Prüfen, in welche Kategorie jedes System fällt. Der Anhang der Verordnung mit seinen spezifischen Anwendungsbereichen ist dabei eine hilfreiche Orientierung.
3. Rollen und Verantwortlichkeiten festlegen: Klare Zuständigkeiten für die KI-Governance im Unternehmen etablieren, etwa durch einen KI-Beauftragten oder ein KI-Komitee.
4. KI-Richtlinie entwickeln: Eine interne KI-Richtlinie dokumentieren, die Grundsätze, Verfahren und Ausnahmeregelungen für den Umgang mit KI-Systemen regelt.
5. Risikomanagementsystem implementieren: Ein KI-Managementsystem aufbauen, das auf Standards wie ISO/IEC 42001 basiert und Risiken systematisch identifiziert, bewertet und adressiert.
6. Mitarbeitende schulen: Alle Personen, die KI-Systeme nutzen oder dafür verantwortlich sind, schulen und so einen sicheren und regelkonformen Umgang sicherstellen.

ISO/IEC 42001 bietet einen international anerkannten Rahmen für den Aufbau eines KI-Managementsystems. Es definiert Mindestanforderungen an Governance, Risikomanagement, KI-Richtlinien und interne Organisation und ergänzt die gesetzlichen Anforderungen der EU-KI-Verordnung um ein strukturiertes Managementinstrument.

Wie mITSM Unternehmen bei der KI-Compliance unterstützt

Wir bei mITSM unterstützen Fachkräfte, Führungskräfte und Organisationen dabei, die Anforderungen der EU-KI-Verordnung zu verstehen und in der Praxis umzusetzen. Unser Trainingsportfolio deckt alle wichtigen Themenbereiche ab, die für eine regelkonforme KI-Governance erforderlich sind:

• AI Manager Training: Umfassendes Training zu KI-Grundlagen, KI-Compliance, Datenschutz im KI-Kontext (DSGVO) und der EU-KI-Verordnung mit ihren Pflichten für Unternehmen.
• ISO 42001 AI Officer: Fundiertes Wissen zu KI-Managementsystemen nach ISO/IEC 42001, einschließlich der Anforderungen aus Anhang A, Rollen und Verantwortlichkeiten sowie Zertifizierungsvorbereitung.
• ISO 42001 Auditor: Training zur Prüfung und Auditierung von KI-Managementsystemen, mit KIMS-Zertifizierung nach ISO 42001 sowie persönlichen Zertifizierungen über ICO-Cert als anerkannten Zertifizierungspartner für KI-Themen.
• Inhouse-Training: Auf deine Organisation zugeschnittene Kursformate, die direkt vor Ort beim Kunden durchgeführt werden, damit ganze Teams gemeinsam KI-Kompetenz aufbauen können.

Alle unsere Trainer sind zertifizierte Experten, die praxisnahe Erfahrung in ihre Inhalte einbringen. Unsere Kurse sind als Präsenztraining, Online-Live-Session und E-Learning verfügbar. Starte jetzt und entdecke unser Trainingsangebot für KI-Compliance und KI-Governance.

Dieser Inhalt wurde mithilfe von KI erstellt und kann Fehler enthalten.