Nahaufnahme der menschlichen Hand und der Roboterhand

Wie die EU die Kontrolle der KI in menschlicher Hand behalten möchte

Konstantin Pilz

Manager Consulting, EY Consulting GmbH | Deutschland

7 Minuten Lesezeit 28 Sep. 2022
Verwandte Themen
Consulting
Digitalisierung
Big Data und Analytics
Risikomanagement
Transformation Realized

Der geplante EU AI Act will versuchen, die Macht der künstlichen Intelligenz einzuschränken – und wird so für viele Unternehmen relevant.

Überblick

  • Mit ihrem Gesetzesvorhaben zu regulatorischen Überwachungsanforderungen für KI-Systeme will die EU eine internationale Vorreiterrolle einnehmen.
  • Aus dem EU AI Act ergeben sich neue Anforderungen für Unternehmen.
  • Künftig werden Firmen Datenstrategien und Risikomanagement stärker miteinander verknüpfen müssen.

Technologien, die sich mit dem Einsatz von künstlicher Intelligenz (KI) beschäftigen, werden zukünftig den Wandel in zahlreichen Sektoren beschleunigen. Durch ihre Fähigkeit der berechneten und selbsterlernten Entscheidung, Prognosen und Prozessoptimierung werden sie verstärkt Einfluss auf die Bereiche Umwelt, Mobilität, Gesundheit, Finanzen, Landwirtschaft und viele mehr haben. Mit diesem steigenden Einfluss der KI werden zunehmend auch die Grundrechte sowie die Sicherheit beeinflusst. Dieser Trend wird durch die exponentielle Datensammlung und fortlaufende Weiterentwicklung effektiverer Datenauswertungen beschleunigt.

Der Unternehmer Elon Musk, der unter anderem durch openAI (einem KI-Forschungslabor), Tesla, SpaceX und Neuralink bekannt ist, hat bereits auf der South by Southwest Tech Conference (SXSW) in Austin 2018 seine Sorgen und Ängste über KI geäußert. Er gehe davon aus, dass durch die Beschleunigung der Weiterentwicklung von KI, die menschlichen Fähigkeiten der Überwachung und Kontrolle der KI-Systeme überholt würden. Des Weiteren halte er KI für gefährlicher als Nuklearwaffen. Bereits 2018 wunderte er sich, wieso es keine gesetzliche Überwachung beziehungsweise Einschränkung von KI-Systemen gibt.

KI als Gefahr
warnte Elon Musk bereits vor dem gefährlichen Potenzial von künstlicher Intelligenz.

Um den möglichen Risiken der Diskriminierung, Einschränkung der freien Meinungsäußerung, dem Missbrauch personenbezogener Daten und der Privatsphäre sowie der Menschenwürde durch KI vorzubeugen, nimmt die Europäische Union (EU) mit dem „Artificial Intelligence Act“ die internationale Vorreiterrolle mit regulatorischen Überwachungsanforderungen für KI-Systeme ein. Hierbei liegt der Fokus darauf, dass KI-Innovationen einem Human-Centric-Ansatz folgen, womit der Vorteil der KI für die Menschen bei der Entwicklung sichergestellt werden soll. Dem Gesetzesentwurf des EU AI Acts sind nicht bindende Richtlinien, wie zum Beispiel die „Ethics Guidelines for Trustworthy AI“ oder das „White Paper on Artificial Intelligence“ vorausgegangen. Seit 2021 arbeitet die EU nun an dem regulatorischen Rahmenwerk für KI, um die Grund- und Konsumentenrechte vor den Risiken durch KI zu schützen.

KI-Regulierung rückt international in den Fokus

Neben dem EU AI Act gibt es auch schon aus den USA Vorgaben für KI, jedoch bezieht sich der „National Artificial Intelligence Initiative Act“ von 2020 auf die Bestärkung des Investments und der Forschung und Entwicklung von KI, da laut der US-Handelsbehörde die bestehenden rechtlichen Rahmenwerke die KI-Risiken ausreichend umfassen. Erst Anfang Oktober 2022 hat das Weiße Haus in den USA eine weitere Richtlinie (AI Bill of Rights) zum Umgang mit künstlicher Intelligenz veröffentlicht. Trotz des fortschreitenden Regulierungsbedarfs und des öffentlichen Drucks, setzt man in den USA jedoch weiterhin auf das Konzept von freiwillig umzusetzenden Richtlinien und Rahmenwerken. In Großbritannien wurde 2021 die „National AI Strategy“ veröffentlicht, mit dem Plan, dass 2022 eine KI-Regulierung vorgestellt werden soll. Außerdem hat die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) bereits ebenfalls nicht bindende Empfehlungen für KI („Recommendations on AI“) veröffentlicht. Durch die engere Zusammenarbeit zwischen der EU und den USA und der neuen EU-US-Tech-Partnerschaft wird erwartet, dass sowohl die EU als auch die USA ein gemeinsames Verständnis bezüglich Prinzipien der Vertrauenswürdigkeit und Verantwortung von KI entwickelt haben.

So unterstützen wir Sie

  • Risikoberatung

    Risiken können überall im Unternehmen entstehen: Wie EY Ihnen dabei helfen kann, sie zu identifizieren und ihnen zu begegnen, erfahren Sie hier.

    Mehr erfahren

EU AI Act: Neue Anforderungen für Unternehmen

 

Aus dem aktuellen Draft des EU-AI-Gesetzes lassen sich zahlreiche neue Anforderungen an Unternehmen ableiten, wobei zu beachten ist, dass das Gesetz sektorübergreifend und allgemein für alle Unternehmen im EU-Raum gelten soll. Die EU verfolgt bei diesem Gesetz den risikobasierten Anlass, wodurch Unternehmen in der Pflicht stehen, ihre KI-Systeme und das mit ihnen einhergehende Risiko selbst zu bewerten, zu dokumentieren und entsprechend mit den Behörden zu kommunizieren. Des Weiteren gibt der Staatenverbund eine offizielle Definition von KI-Systemen vor und definiert, welche Methoden und Techniken unter das neue Gesetz fallen würden (siehe auch Anhang „Annex I“ der AI-Regulation-Listen).

Der EU AI Act sieht die Kategorisierung der KI-Systeme in unterschiedliche Risikoklassen vor.

Ausgehend von dem identifizierten Risiko eines KI-Systems, sieht die EU spezifische Anforderungen vor. Hierbei wird die Kategorisierung der KI-Systeme in die Klassen „unacceptable risk“, „high risk“, „medium risk“ und „low“ beziehungsweise „no risk“ vorgenommen. Unter einem KI-System mit nicht akzeptablen beziehungsweise verbotenen Techniken kann man beispielsweise Social-Scoring-Techniken verstehen, welche die Vertrauenswürdigkeit und das Verhalten von Menschen anhand von gesammelten Daten prognostizieren sollen, woraufhin Einschränkungen wie zum Beispiel bei der Kreditvergabe oder der Teilhabe am öffentlichen Leben vorgenommen werden. Viel interessanter sind hierbei die KI-Systeme mit hohen Risiken, worunter sich beispielsweise medizinische Geräte aber auch auf KI-basierte Sicherheitssysteme (biometrische Systeme) verbergen können.

Für KI-Systeme mit der Risikokategorie „high“ sieht der EU AI Act vor, dass die Anforderungen aus den Artikeln 9 bis 15 befolgt und umgesetzt werden:

  • Artikel 9: Für ein Hochrisiko-KI-System muss ein Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten werden.
  • Artikel 10: Trainingsmodelle für Daten in Hochrisiko-KI-Systemen müssen mit Trainings-, Validierungs- und Testdatensätzen entwickelt werden, welche den im EU AI Act genannten Qualitätskriterien entsprechen (Artikel 10, Absatz 2 bis 5).
  • Artikel 11: Es muss eine angemessene technische Dokumentation der Hochrisiko-KI-Systeme existieren, bevor diese Systeme in Verkehr gebracht oder in Betrieb genommen werden.
  • Artikel 12: Hochrisiko-KI-Systeme müssen eine automatische Aufzeichnung (Protokollierung nach anerkannten Normen) von Vorgängen und Ereignissen während des Betriebs des Systems enthalten.
  • Artikel 13: Es müssen Transparenzmaßnahmen entwickelt werden, um sicherzustellen, dass die Nutzer des Hochrisiko-KI-Systems angemessen über die Ergebnisse und deren Verwendung informiert werden.
  • Artikel 14: Während der Dauer der Verwendung des KI-Systems muss es durch geeignete Werkzeuge möglich sein, dass natürliche Personen das System wirksam beaufsichtigen können.
  • Artikel 15: Es ist sicherzustellen, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt sind, dass ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit über den gesamten Lebenszyklus des Systems vorhanden ist.

Für Systeme der Kategorisierung „medium“ sind hauptsächlich Transparenzhinweise an die Nutzer vorgeschrieben. Hierbei kann es sich beispielsweise um einen Hinweis handeln, dass der Chatbot eine künstliche Intelligenz ist. Für die KI-Systeme in der Kategorie „low“ oder risikolos sind bisher keine rechtlichen Anforderungen vorgesehen, dennoch wird empfohlen, einen Code of Conduct für risikolose KI-Systeme zu erstellen und bei der Verwendung dieser zu befolgen. Laut der Europäischen Kommission werden voraussichtlich die meisten Systeme in diese Kategorie fallen, da es sich hierbei um Systeme zu Predictive Maintenance oder Industrie-Applikationen ohne Verwendung von personenbezogenen Daten und ohne Vorhersagen mit Einfluss auf Menschen handelt.

Als risikolos eingestufte KI-Systeme müssen keine Vorgaben befolgen – ein Code of Conduct wird dennoch empfohlen.

So unterstützen wir Sie

  • Die EY Trusted AI Platform

    Die EY Trusted AI Platform bietet einen integrierten Ansatz zur Bewertung, Quantifizierung und Überwachung von Auswirkungen und Vertrauenswürdigkeit der künstlichen Intelligenz (KI).

    Mehr erfahren

Des Weiteren wird der EU AI Act zwischen den Rollen der Anbieter, Nutzer und anderer Beteiligter unterscheiden und entsprechend der Rolle spezifische Pflichten stellen (siehe Kapitel 3 EU AI Act).

 

Der Gesetzesentwurf sieht vor, dass die EU eine Datenbank erstellen und pflegen wird, welche alle eigenständigen Hochrisiko-KI-Systeme beinhaltet. Diese müssen von den Unternehmen nach ihrer entsprechenden Identifikation an die dafür vorgesehene Behörde gemeldet werden (siehe Artikel 60 EU AI Act).

 

EU AI Act: Diese Strafen drohen bei Verstößen

 

Das neue Gesetz sieht vor, dass bei Verstößen gegen die erlaubten KI-Praktiken oder der Nichtkonformität des KI-Systems mit den in Artikel 10 festgelegten Anforderungen Geldbußen in Höhe von bis zu 30 Millionen Euro oder von bis zu 6 Prozent des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt werden können.

 

Bei Verstößen gegen die Pflichten und Anforderungen außerhalb der verbotenen Praktiken (Artikel 5) und Trainingsmodelle (Artikel 10) können Strafzahlungen bis zu 20 Millionen Euro oder bis zu 4 Prozent des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt werden.

 

Werden von einem Unternehmen falsche, unvollständige oder irreführende Angaben gegenüber zuständigen nationalen Behörden auf deren Auskunftsverlangen hin gemacht, kann eine Geldbuße von bis zu 10 Millionen Euro oder bis zu 2 Prozent gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt werden.

So können sich Unternehmen auf den EU AI Act vorbereiten

Da sich der EU AI Act aktuell in der Entwurfsphase befindet, müssen im weiteren Verlauf noch die einzelnen EU-Komitees abstimmen, bevor er im Plenum der EU verabschiedet werden kann. Das Gesetz würde am 20. Tag nach Verabschiedung in Kraft treten und 24 Monate später würde die Verordnung wirksam gelten.

Als Vorbereitung auf die rechtlichen Anforderungen des neuen Gesetzes wäre es daher ratsam, dass Unternehmen ihre internen (Kontroll-)Prozesse bezüglich KI-Systeme ergänzen und ihre Governance-Strukturen und Vorgaben auch dahingehend anpassen. Sollten noch keine Richtlinien zum Thema KI und kein Code of Conduct im Umgang mit künstlicher Intelligenz vorhanden sein, wäre es ratsam diese Vorgaben zu erstellen. Darüber hinaus können Unternehmen bereits Konformitäts-Assessments durchführen und KI in die internen Audits einbauen und die Abdeckung der neuen KI-Anforderungen durch bereits vorhandene (sektor-)spezifische Regularien überprüfen.

Abschließend werden Unternehmen in Zukunft unausweichlich Datenstrategien und Risikomanagement stärker miteinander verknüpfen und ihre Unternehmensprozesse und -kulturen flexibler aufbauen müssen, um den immer neuen rechtlichen Anforderungen zu entsprechen. Die Bundesregierung hat bereits in ihrem Koalitionsvertrag angekündigt, weitere Regulierungen bezüglich Datenregister und Vorgaben beim Umgang mit Gesundheitsdaten zu beschließen, womit der EU AI Act lediglich der Beginn der rechtlichen Beschränkung von künstlicher Intelligenz und automatisierter Datenverwendung sein wird.

Fazit

Unternehmen sollten sich auf den geplanten EU AI Act einstellen. Dieser wird sowohl für Konzerne relevant, die bereits KI-Systeme einsetzen als auch für solche, die dem Einsatz von künstlicher Intelligenz skeptisch gegenüberstehen, jedoch trotzdem über einen zukünftigen Einsatz von KI nachdenken. Da die KI-Regulierung international immer stärker in den Fokus rückt, ist es ratsam, dass sich Unternehmen bereits jetzt über künftige Anforderungen informieren und entsprechend aufstellen.

Über diesen Artikel

Konstantin Pilz
Manager Consulting, EY Consulting GmbH | Deutschland
Optimistischer Wirtschaftsinformatiker. Fokussierung auf Risikothemen an der Schnittstelle zwischen IT und Business. Begeisterung für die Umsetzung technologischer Innovation.
Verwandte Themen
Consulting
Digitalisierung
Big Data und Analytics
Risikomanagement
Transformation Realized

Die internationale EY-Organisation besteht aus den Mitgliedsunternehmen von Ernst & Young Global Limited (EYG). Jedes EYG-Mitgliedsunternehmen ist rechtlich selbstständig und unabhängig und haftet nicht für das Handeln und Unterlassen der jeweils anderen Mitgliedsunternehmen. Ernst & Young Global Limited ist eine Gesellschaft mit beschränkter Haftung nach englischem Recht und erbringt keine Leistungen für Mandanten.