Wie überprüft man die KI-Compliance von Drittanbietern?

Die Compliance von Drittanbieter-KI wird bewertet, indem KI-Systeme anhand eines strukturierten Fragebogens geprüft, die Risikoklasse gemäß dem EU AI Act bestimmt und die Ergebnisse vertraglich abgesichert werden. Unternehmen, die KI-Tools von externen Anbietern nutzen, tragen eine Mitverantwortung für deren regelkonformen Betrieb und können selbst für Verstöße haftbar gemacht werden. Die folgenden Abschnitte zeigen, welche konkreten Risiken entstehen, was der EU AI Act fordert und wie eine systematische Prüfung in der Praxis aussieht.

Welche konkreten Risiken gehen von Drittanbieter-KI aus?

Drittanbieter-KI birgt vor allem Risiken in den Bereichen Datenschutz, Datensicherheit, Diskriminierung, Fehlinformation und regulatorische Haftung. Wer externe KI-Systeme in eigene Prozesse integriert, übernimmt faktisch einen Teil der Verantwortung für deren Verhalten – ohne interne Kontrolle über Trainingsdaten, Modellarchitektur oder Entscheidungslogik zu haben.

Die Risiken lassen sich konkret in mehrere Kategorien unterteilen:

• Datenschutzrisiken: Viele KI-Tools verarbeiten personenbezogene Daten, häufig auf Servern außerhalb der EU. Ohne klaren Auftragsverarbeitungsvertrag kann dies einen DSGVO-Verstoß darstellen.
• Integritätsrisiken: KI-Systeme können Informationen verändern oder fehlerhafte Ausgaben produzieren, ohne dass der Betreiber dies sofort bemerkt. Das ist besonders kritisch bei automatisierten Entscheidungen.
• Diskriminierungs- und Bias-Risiken: Wenn das Modell eines Anbieters auf verzerrten Trainingsdaten basiert, können diskriminierende Empfehlungen entstehen, für die das einsetzende Unternehmen mitverantwortlich ist.
• Transparenzrisiken: Viele Anbieter dokumentieren ihre Modelle unzureichend. Ohne technische Dokumentation lässt sich nicht beurteilen, ob ein System die gesetzlichen Anforderungen erfüllt.
• Verfügbarkeits- und Abhängigkeitsrisiken: Fällt ein externer KI-Dienst aus oder stellt seinen Betrieb ein, können kritische Geschäftsprozesse beeinträchtigt werden.

Besonders problematisch ist, dass diese Risiken oft erst sichtbar werden, wenn bereits ein Schaden eingetreten ist. Eine proaktive Prüfung vor der Einführung eines Drittanbieter-KI-Systems ist daher keine Formalität, sondern ein echtes Schutzinstrument.

Was fordert der EU AI Act von Unternehmen, die Drittanbieter-KI einsetzen?

Der EU AI Act verpflichtet Unternehmen als Betreiber von KI-Systemen sicherzustellen, dass die von ihnen eingesetzten Systeme die gesetzlichen Anforderungen erfüllen – auch wenn diese Systeme von einem Drittanbieter stammen. Die Verantwortung liegt nicht allein beim Anbieter, sondern wird zwischen Anbieter und Betreiber geteilt.

Für Betreiber von Hochrisiko-KI-Systemen schreibt der EU AI Act unter anderem folgende Pflichten vor:

1. Sicherstellung des Betriebs gemäß den vom Anbieter bereitgestellten Betriebsanweisungen
2. Implementierung von Mechanismen zur menschlichen Aufsicht
3. Kontinuierliche Überwachung des Systems und Meldung von Anomalien an den Anbieter
4. Meldung schwerwiegender Vorfälle an die zuständigen nationalen Behörden
5. Aufbewahrung automatisierter Protokolle (Log-Dateien) für mindestens sechs Monate
6. Durchführung einer Datenschutz-Folgenabschätzung gemäß Art. 35 DSGVO
7. Information betroffener Personen über automatisierte Entscheidungen

Darüber hinaus verlangt der EU AI Act von allen Betreibern – unabhängig von der Risikoklasse –, KI-Kompetenz innerhalb der Organisation sicherzustellen (Art. 4 AI Act). Das bedeutet: Wer ein Drittanbieter-KI-Tool einsetzt, muss intern in der Lage sein, dieses Tool zu verstehen, zu überwachen und kritisch zu hinterfragen. Strukturierte KI-Schulungen sind daher kein optionales Extra, sondern eine grundlegende regulatorische Anforderung.

Wie bewertest du die KI-Compliance eines Anbieters systematisch?

Eine systematische Bewertung der KI-Compliance eines Anbieters erfolgt in vier Schritten: Risikoklassifizierung des Systems, Dokumentenprüfung, technische Sicherheitsbewertung und vertragliche Absicherung. Dieser Prozess sollte vor Vertragsabschluss beginnen und regelmäßig wiederholt werden.

Schritt 1: Risikoklasse bestimmen

Bevor du einen Anbieter bewertest, musst du verstehen, in welche Risikoklasse sein KI-System fällt. Der EU AI Act unterscheidet zwischen verbotenen Systemen, Hochrisiko-KI, Systemen mit begrenztem Risiko und Systemen mit minimalem Risiko. Je höher die Risikoklasse, desto strenger sind die Anforderungen an den Anbieter – und desto gründlicher muss die Prüfung ausfallen.

Schritt 2: Dokumentation und Transparenz prüfen

Seriöse KI-Anbieter stellen technische Dokumentation, Risikobewertungen und Konformitätsnachweise bereit. Fehlen diese Dokumente oder sind sie unvollständig, ist das ein ernstes Warnsignal. Für Hochrisiko-Systeme ist eine vollständige technische Dokumentation gemäß EU AI Act verpflichtend. Prüfe außerdem, ob der Anbieter Transparenzberichte veröffentlicht und mit nationalen Behörden kooperiert, wie es beispielsweise vom Digital Services Act für Plattformanbieter gefordert wird.

Schritt 3: Technische Sicherheit bewerten

KI-Tools sollten regelmäßig aktualisiert und ausschließlich von vertrauenswürdigen Anbietern bezogen werden. Prüfe, ob der Anbieter dem Stand der Technik entsprechende Maßnahmen umsetzt, den Dienst gegen unbefugten Zugriff absichert und Quellenangaben für KI-generierte Inhalte bereitstellt. Automatisierte Entscheidungen sollten grundsätzlich erst nach menschlicher Prüfung übernommen werden.

Schritt 4: Verträge und Haftung klären

Die Compliance-Prüfung muss sich in der Vertragsgestaltung widerspiegeln. Dazu gehören klare Regelungen zur Datenverarbeitung, zur Haftungsverteilung, zu Meldepflichten bei Vorfällen und zu Audit-Rechten. Ohne vertragliche Grundlage bleibt die Compliance-Prüfung wirkungslos.

Welche Fragen sollte ein KI-Compliance-Fragebogen für Lieferanten enthalten?

Ein KI-Compliance-Fragebogen für Lieferanten sollte Fragen zur Risikoklassifizierung, zur technischen Dokumentation, zum Datenschutz, zu Sicherheitsmaßnahmen, zur menschlichen Aufsicht und zu Zertifizierungen enthalten. Der Fragebogen dient als strukturiertes Instrument, um die Angaben eines Anbieters objektiv und vergleichbar zu bewerten.

Folgende Fragekategorien werden konkret empfohlen:

• Zur Risikoklassifizierung: Wie klassifiziert der Anbieter sein System gemäß EU AI Act? Wurde eine Konformitätsbewertung durchgeführt?
• Zur technischen Dokumentation: Liegt eine vollständige technische Dokumentation vor? Ist eine CE-Kennzeichnung vorhanden (bei Hochrisiko-Systemen)?
• Zum Datenschutz: Wo werden Daten verarbeitet und gespeichert? Gibt es einen Auftragsverarbeitungsvertrag? Wurde eine Datenschutz-Folgenabschätzung durchgeführt?
• Zur Transparenz: Werden Nutzer darüber informiert, dass sie mit einem KI-System interagieren? Sind Entscheidungen nachvollziehbar und erklärbar?
• Zu Sicherheitsmaßnahmen: Welche technischen und organisatorischen Maßnahmen (TOMs) sind implementiert? Wie werden Sicherheitsupdates eingespielt?
• Zur menschlichen Aufsicht: Welche Mechanismen zur menschlichen Überwachung sind vorhanden? Können automatisierte Entscheidungen manuell übersteuert werden?
• Zu Zertifizierungen: Verfügt das Unternehmen über eine KIMS-Zertifizierung nach ISO 42001 oder wurde es entsprechend auditiert? Gibt es weitere relevante Zertifizierungen?
• Zum Vorfallmanagement und zu Meldepflichten: Wie werden schwerwiegende Vorfälle gemeldet? Welche Reaktionszeiten sind vertraglich garantiert?

Ein Anbieter, der diese Fragen gar nicht oder nur ausweichend beantwortet, sollte mit besonderer Vorsicht betrachtet werden. Die Antworten bilden zudem die Grundlage für die vertragliche Risikoverteilung.

Wie unterscheidet sich die Compliance-Prüfung je nach KI-Risikoklasse?

Tiefe und Umfang der Compliance-Prüfung richten sich unmittelbar nach der Risikoklasse des eingesetzten KI-Systems. Bei Hochrisiko-KI ist eine umfassende Prüfung inklusive technischer Dokumentation, Konformitätsnachweisen und Audit-Rechten erforderlich, während bei KI mit minimalem Risiko eine Basisprüfung ausreicht.

Hochrisiko-KI-Systeme

Hier ist die Prüfung am umfangreichsten. Vom Anbieter müssen vollständige technische Dokumentation, ein funktionierendes Qualitätsmanagementsystem, Nachweise zu Datensätzen und Trainingsverfahren sowie eine CE-Kennzeichnung eingefordert werden. Als Betreiber musst du zusätzlich eigene Maßnahmen umsetzen: menschliche Aufsicht, Aufbewahrung von Log-Dateien, eine Datenschutz-Folgenabschätzung und Informationspflichten gegenüber betroffenen Personen. Ein ISO/IEC 42001-Audit kann dabei helfen, Lücken im eigenen KI-Managementsystem zu identifizieren, bevor ein Hochrisiko-System eingeführt wird.

KI-Systeme mit begrenztem Risiko

Bei diesen Systemen stehen Transparenzpflichten im Vordergrund. Nutzer müssen wissen, dass sie mit einer KI interagieren – etwa bei Chatbots oder KI-generierten Inhalten. Die Prüfung konzentriert sich darauf, ob der Anbieter diese Transparenzpflichten erfüllt und entsprechende Kennzeichnungsmechanismen implementiert hat.

KI-Systeme mit minimalem Risiko

Für diese Kategorie stellt der EU AI Act keine verpflichtenden Zusatzanforderungen. Eine Basisprüfung der Datenschutz-Compliance und allgemeiner Sicherheitsstandards ist dennoch empfehlenswert. Anbieter können freiwillig einen Verhaltenskodex einführen, was als positives Signal für Zuverlässigkeit gewertet werden kann.

Wer im Unternehmen ist für die Prüfung von Drittanbieter-KI verantwortlich?

Die Verantwortung für die Prüfung von Drittanbieter-KI liegt in der Regel beim KI-Compliance-Officer, in Zusammenarbeit mit der IT-Leitung, dem Datenschutzbeauftragten und dem Einkauf. In der Praxis handelt es sich um eine funktionsübergreifende Aufgabe, die mehrere Abteilungen einbindet und eine klare interne Zuständigkeitsverteilung erfordert.

Je nach Unternehmensgröße und den eingesetzten KI-Systemen empfiehlt sich folgende Aufgabenteilung:

• KI-Compliance-Officer: Koordiniert den gesamten Prüfprozess, bewertet die regulatorischen Anforderungen und dokumentiert die Ergebnisse.
• IT-Leitung: Bewertet technische Sicherheitsmaßnahmen, Integrationspunkte und Verfügbarkeitsrisiken des Drittsystems.
• Datenschutzbeauftragter: Prüft die DSGVO-Konformität, bewertet Datenflüsse und stellt sicher, dass Auftragsverarbeitungsverträge vorliegen.
• Einkauf und Rechtsabteilung: Verankern Compliance-Anforderungen vertraglich und regeln Haftung, Audit-Rechte und Meldepflichten.
• Fachabteilung: Beschreibt den konkreten Einsatzkontext und unterstützt bei der Risikoklassifizierung des Systems.

Entscheidend ist, dass die Prüfung nicht als einmaliges Ereignis verstanden wird. KI-Systeme entwickeln sich kontinuierlich weiter, Anbieter aktualisieren ihre Modelle und regulatorische Anforderungen ändern sich. Eine regelmäßige Überprüfung – mindestens einmal jährlich oder bei wesentlichen Änderungen am System – ist daher unerlässlich. Unternehmen, die noch keine klare Verantwortlichkeit für KI-Governance definiert haben, sollten dies als ersten Schritt angehen, bevor sie weitere Drittanbieter-KI-Systeme einführen.

Wie unterstützt dich mITSM bei der Drittanbieter-KI-Compliance?

Die Prüfung von Drittanbieter-KI erfordert fundiertes Wissen über den EU AI Act, ISO/IEC 42001 und praxisnahe Bewertungsmethoden. Genau hier setzt mITSM an. Als spezialisierter Bildungsanbieter mit über 20 Jahren Erfahrung in der IT-Weiterbildung bieten wir konkrete Unterstützung auf mehreren Ebenen:

• KI-Compliance-Schulungen: Unsere Kurse vermitteln das Wissen, das KI-Compliance-Officer, IT-Verantwortliche und Datenschutzbeauftragte benötigen, um Drittanbieter-KI systematisch zu bewerten. Alle Trainer sind zertifizierte Experten, die ihre Inhalte aus der Praxis kennen.
• ISO/IEC 42001-Audit: Wir prüfen, ob das KI-Managementsystem deines Unternehmens die Anforderungen des internationalen Standards erfüllt, identifizieren Lücken und liefern einen konkreten Maßnahmenplan.
• Persönliche Zertifizierungen über ICO-Cert: Unsere Schulungen schließen mit anerkannten persönlichen Zertifizierungen über ICO-Cert ab und steigern den Marktwert deiner Fachkräfte auf dem Arbeitsmarkt konkret.
• Inhouse-Schulungen: Unsere standardisierten Kursformate können direkt bei dir vor Ort durchgeführt werden, sodass ganze Teams gemeinsam KI-Compliance-Kompetenz aufbauen können.

Ob du gerade erst damit beginnst, KI-Governance in deinem Unternehmen aufzubauen, oder ein bestehendes System auf Compliance prüfen möchtest: Melde dich bei uns. Erfahre mehr über unser KI-Compliance-Schulungsangebot oder vereinbare ein unverbindliches Erstgespräch, um den nächsten Schritt gemeinsam zu planen.

Dieser Inhalt wurde mithilfe von KI erstellt und kann Fehler enthalten.