Was bedeutet KI für Cybersecurity?
von Sebastian Zechmair
KI beeinflusst sämtliche Bereiche der Technik – Cybersecurity ist dabei keine Ausnahme. Durch die flächendeckende Verbreitung von öffentlich zugänglichen KI-Agenten und -Technologien fällt es Angreifern nicht schwer an neue Angriffswerkzeuge und -möglichkeiten zu kommen.
1. Social Engineering mit KI
Einer der größten Einflüsse auf Cybersecurity hat KI im Social Engineering Bereich. Services wie ChatGPT sind in der Lage viel Text in Sekundenschnelle zu generieren, sowie gesamte Unterhaltungen zu simulieren. Somit können Phishing-Angriffe enorm verstärkt werden. Wo früher nur generische Phishing-Angriffe auf z.B. Mitarbeiter eines Unternehmens möglich waren, kann nun jeder Mitarbeiter mit einem individuell erstellten Text angegriffen werden. Mit etwas OSINT (Open Source Intelligence, welches auch durch KI unterstützt werden kann) kann damit jeder Phishing-Angriff zu einem Spear-Phishing-Angriff werden – mit signifikant höheren Erfolgen, weil sie für die Opfer viel schwerer zu erkennen sind.
2. Die Gefahr des Data-Poisoning
Data-Poisoning ist ein Stichwort, welches seit der Verbreitung von Large-Language-Models (wie ChatGPT) an Bedeutung gewinnt. Um eine KI zu trainieren, benötigt man sehr große Datenmengen. Datenmengen im benötigen Umfang sind kaum mehr zu kontrollieren. Nutzt ein LLM zum Beispiel freiverfügbare Inhalte aus dem Netz zum Training, sind die Daten nicht überwachbar. Man überlege sich, wie viele Wörter allein in Wikipedia stehen. Diesen Umstand kann eine böswillige Instanz nutzen, um Teile des vom LLMs verwendeten Datensatzes zu verfälschen. So gibt die auf dem Datensatz aufbauende KI wiederum falsche Informationen zurück. Ein sehr anschauliches Beispiel liefert das online verfügbare System „Nightshade“. Hier werden ein paar wenige Pixel in Bildern so verändert, dass das menschliche Auge immer noch dasselbe Bild sieht, aber lernende KI das Bild nicht richtig „sehen“, bzw. auslesen kann.
3. Prompt Injection
Prompt Injection ist ein weiteres wichtiges Stichwort im Bereich von KI, vor allem bei generativen Systemen, wie ChatGPT oder Support-Chatbots auf Webseiten. Nachdem KI bei ihrer Programmierung mit Text gefüttert wurde, gibt KI diesen Text später in abgewandelter Art wieder zurück. Wenn nun z.B. auf einer Satireseite wie dem Postillon steht, dass es gesund sei Steine zu essen, dann würde eine KI dies als als Fakt annehmen. Die KI „versteht“ erstmal nicht, dass es sich dabei um Satire handelt. Dies haben Organisationen wie OpenAI als Problem erkannt und daher Filter eingebaut, damit Menschen keine falschen und vielleicht sogar schädlichen Informationen abrufen.
Prompt Injection hat das Ziel, diese Filter zu umgehen. So könnte z.B. eine Organisation eine eigene KI aufbauen, angelernt mit sämtlichen Dokumenten im Firmennetz, inklusive Dokumente wie Personalakten. Diese werden selbstverständlich gefiltert, damit nicht jeder Mitarbeiter einfach das Gehalt des Kollegen einsehen kann. Vielleicht kann der Angreifer zwar nicht direkt das Gehalt abrufen, aber er könnte die KI auffordern sein eigenes Gehalt (auf welches er Zugriff hat) und das Gehalt des Kollegen zu addieren und danach auszugeben. Damit folgt die KI immer noch dem Filter, das Gehalt eines anderen Mitarbeiters wurde ja nicht ausgegeben.
Fazit: Bedeutung der KI für die Cybersecurity
KI bietet also neue und effiziente Angriffsmöglichkeiten. Daraus folgt, dass man sich auf Verteidigerseite ebenfalls stark mit KI beschäftigen muss. Sicherheitsmaßnahmen von Organisationen müssen dringend KI berücksichtigen, vor allem wenn spezialisierte KI angelernt und verwendet werden soll. Für Penetration Tester wird es erstmal nicht langweilig, denn ein neuer Bereich der Cybersecurity eröffnet sich mithilfe von KI. Für diesen braucht man teilweise nicht einmal technisches Wissen, es reicht out-of-the-box-thinking und ein gewisses Maß an Kreativität. Ich bleibe auf jeden Fall gespannt darauf, in welche Richtungen sich KI in der Cybersecurity entwickelt.
Über den Autor: Sebastian Zechmair
Sebastian ist Experte für IT-Security. Er kommt von der technischen Seite und hat Erfahrung im Software Engineering und im IT-Support. Praxisnah vermittelt er Cybersecurity-Inhalte in unseren Schulungen zu Hacking Basics und zur ISO 27001.
03.02.2025