zurück zur Übersicht

When AI goes bad – Neue Bedrohungen durch KI-Nutzung

Die Fähigkeiten von Algorithmen, die auf künstlicher Intelligenz und maschinellem Lernen beruhen, werden mit atemberaubender Geschwindigkeit  weiterentwickelt.

Es vergeht kaum eine Woche, in der nicht ein neuer Anwendungsfall oder ein neues Produkt in diesem Zusammenhang vorgestellt wird.

Doch welche Risiken bergen diese Technologien?

Dieser Frage versuchen einer Reihe namhafter Institutionen aus Wissenschaft, Industrie und Zivilgesellschaft, darunter beispielsweise die Electronic Frontier Foundation  und die Universitäten Yale, Oxford, Cambridge und Stanford in ihrem kürzlich veröffentlichten Malicious AI Report auf den Grund zu gehen.

Es ist unbestritten, dass der Fortschritt auf dem Gebiet künstlicher Intelligenz (KI oder AI) und Machine Learning (ML) keine Wissens- oder Technologiemonopole erlaubt. So überrascht es wenig, dass der sog. Dual-Use-Charakter dieser Technologien in diesem Report sehr deutlich hervorgehoben wird. Vor einiger Zeit wurde er in einem Artikel über Mikrobiologie in der FAZ mit „Forschung, die zum Wohle der Menschheit betrieben wird, die in den falschen Händen aber zur Katastrophe führen kann.“ beschrieben und das trifft den Kern der Sache überaus gut. Unter diesem Gesichtspunkt ist es sicherlich keinesfalls zu früh, sich intensiv mit den aus dieser Technologie resultierenden Risiken auseinanderzusetzen.

KI beeinflusst Sicherheitsrelevanz maßgeblich

Folgende Merkmale von KI machen die Betrachtung der Sicherheitsrelevanz dringend erforderlich:

  • KI ist typischerweise sehr effizient und skalierbar
  • KI Systeme übertreffen menschliche Fähigkeiten
  • KI Systeme erhöhen Anonymität und psychologische Distanz
  • KI Systeme sind schnell reproduzierbar, da zugrunde liegende Algorithmen und Software weitestgehend frei verfügbar sind
  • heutige KI Systeme können unter neuartigen, noch unbekannten Schwachstellen oder Problemen leiden

Änderung der Bedrohungslandschaft

Basierend auf diesen Merkmalen gehen die Autoren des Reports davon aus, dass KI sich wie folgt auf die Bedrohungslandschaft auswirken wird. Zum einen werden gänzlich neue Bedrohungen hervorgebracht, zum Anderen bestehende Bedrohungen umfassend erweitert oder ihr Charakter womöglich maßgeblich verändert. Die Auswirkungen gliedert der Report dabei in drei unterschiedliche Security Domains.

  • Digital Security
  • Physical Security
  • Political Security

Zu jeder dieser Domains wurden Szenarien entwickelt, und diese haben es durchaus in sich. So wird beispielsweise im Bereich Digital Security von einem hohen Automatisierungsgrad von Social Engineering Attacken ausgegangen, bei denen Chatbots längere Dialoge führen und sich sogar optisch als bekannte Personen maskieren. So wird ein Vertrauensverhältnis aufgebaut und das Opfer in die Falle gelockt. Wenn man sich anschaut, was heute schon unter dem Stichwort Deepfakes  in Sachen Videomanipulation möglich ist, ist dies sicherlich kein unwahrscheinliches Szenario. Ähnliches zum Thema Social Engineering wurde bereits im Artikel The Machines Strike Back – Artificial Intelligence from the Dark Side angerissen. Weitere Szenarien beziehen sich auf das automatisierte Aufspüren von Schwachstellen, Human-like DDoS Attacks, Automatisierung von bisher zu aufwändigen manuellen Tätigkeiten zur Angriffsvorbereitung oder KI-basierte Angriffe auf eben solche Cyber Defense Systeme.

Kontinuierliche Überwachung der Attacker Capabilities als Gegenmittel

Doch wie sollte diesen Risiken begegnet werden? Die Autoren des Malicious AI Reports führen ein breites Feld an Maßnahmen an, die meist organisatorischer Natur sind. So soll beispielsweise zukünftig genau geprüft werden unter welchen Bedingungen Informationen zu KI-Technologien und auch diese Technologien selbst zugänglich gemacht werden. Hersteller sollen den Einsatz und die Verwendung ihrer Produkte genau überwachen und sich selbst strenge Vorgaben auferlegen, wie diese Produkte gesichert werden können. Beispielhaft werden hier umfangreiches Red Teaming zum Aufspüren unbekannter Sicherheitslücken, Formale Verifikation der Funktion oder Absicherung der entsprechenden Hardwarebasis gegen Extraktion der KI-Technologie genannt.

Allen Entscheidungsträgern, die in Organisationen für die Informationssicherheit verantwortlich sind, ist anzuraten, entsprechende Prozesse zu etablieren, die sicherstellen, dass die Risikosituation des eigenen Unternehmens kontinuierlich dahingehend evaluiert wird, ob neue KI-basierte Technologien bestimmte Angriffsszenarien wahrscheinlicher machen und eingehend zu prüfen, ob die ihnen entgegengesetzten Schutzmaßnahmen in ihrer Wirksamkeit noch ausreichend sind.

Schreibe einen Kommentar

Wir nehmen Datenschutz ernst! Deshalb informieren wir Sie, was mit Ihren Daten geschieht:

  • Daten aus Formularen und Webseiten-Tracking können von uns zur Analyse gespeichert werden
  • Die Daten können zur Optimierung der Webseite ausgewertet werden. Das ermöglicht es uns, besser zu verstehen, wo das Interesse unserer Besucher liegt. Wir benutzen primär Hubspot für dieses Tracking (mehr dazu finden Sie in der Erklärung auf unserer Datenschutzseite, siehe unten)
  • Wir geben Ihre Daten nicht an Dritte weiter. Im Rahmen von Veranstaltungen, an denen Sie teilnehmen möchten, kann es nötig sein, dass Ihre Daten an Vertragspartner übermittelt werden.
  • Sie haben jederzeit ein Recht auf die Herausgabe, Berichtigung oder Löschung persönlicher Daten.
  • Sie können Ihre Einwilligung, mit uns in Kontakt zu treten, jederzeit mit sofortiger Wirkung widerrufen.

Weitere Details dazu, was wir mit den Daten tun und nicht tun finden Sie auf unserer Datenschutzseite, oder schreiben Sie mich bei Fragen direkt an!

Felix Möckel
Data Protection Officer