Akt o AI Evropské unie přináší řadu nových povinností
Umělá inteligence, v anglickém jazyce Artificial Intelligence (dále jako „AI“), v současné době významně ovlivňuje nespočet oblastí, jako je např. automobilový průmysl, kulturu, vzdělávání či zdravotnictví. Všudypřítomnost AI a její působení na každodenní život většiny z nás se projevuje mimo jiné v jejím užívání doporučovacími systémy (např. v rámci služeb Netflix, Spotify nebo YouTube), virtuálními asistenty (např. Alexou či Siri) nebo generativními a kreativními nástroji (např. AI Art, ChatGPT či DeepL).
Akt o AI
V reakci na rostoucí význam AI a související sílící obavy týkající se zejména dopadu AI na základní práva a svobody, připravila Evropská unie (dále jako „EU“) akt o umělé inteligenci, v anglickém jazyce Artificial Intelligence Act (dále jako „Akt o AI“), který je první konkrétní iniciativou na světě týkající se regulace AI. Akt o AI je nařízením, tedy právní normou s obecnou působností, závaznou v celém rozsahu a přímo použitelnou ve všech členských státech EU.
Cílem Aktu o AI je především zajištění toho, aby vývoj AI, její uvádění na trh i do provozu a její používání probíhalo v souladu s hodnotami EU. Mezi jeho další cíle patří podpora zavádění důvěryhodné AI, zajištění vysoké úrovně ochrany zdraví, bezpečnosti a základních práv zakotvených v Listině základních práv Evropské unie a podpora inovací.
Na koho se Akt o AI bude vztahovat?
Akt o AI vymezuje osoby zapojené v oblasti AI poměrně široce. Odpovědnost ponesou zejména poskytovatelé systémů AI, zavádějící subjekty, dovozci, distributoři a výrobci příslušných produktů, a to jak ti, kteří jsou usazení nebo nacházející se v EU, tak ti, kteří fungují ve třetí zemi, pokud je výstup systému AI užíván v EU.
Jaké povinnosti Akt o AI přináší?
Každý subjekt by měl posoudit, zda se na něj vztahují povinnosti vyplývající z Aktu o AI, tedy zejména zda vyvíjí, vyrábí či užívá nějaký systém AI. Ty Akt o AI vymezuje jako „strojový systém navržený tak, aby po zavedení fungoval s různými úrovněmi autonomie a který po zavedení může vykazovat adaptabilitu a který za explicitními nebo implicitními účely z obdržených vstupů odvozuje, jak generovat výstupy, jako jsou predikce, obsah, doporučení nebo rozhodnutí, které mohou ovlivnit fyzická nebo virtuální prostředí“.
Pokud se působnost Aktu o AI na subjekt vztahuje, měl by tento subjekt posoudit, jakou úroveň rizika konkrétní systém AI představuje. Akt o AI rozlišuje čtyři úrovně:
- neakceptovatelné riziko (např. systémy AI, které využívají zranitelnosti specifických skupin osob, vytváří sociální hodnocení především pro orgány veřejné správy, u jednotlivých osob posuzují riziko, že spáchají trestný čin, či používají v reálném čase a na veřejně přístupných místech biometrické identifikace na dálku pro účely vymáhání práva, pokud se nejedná o některou z taxativně vyjmenovaných výjimek) – takové systémy AI jsou zakázány;
- vysoké riziko (systémy AI, které mohou mít nepříznivý dopad na zdraví fyzických osob, jejich bezpečnost, základní práva či na životní prostředí, ať už jako samostatný produkt, nebo jako součást produktu, například v oblasti kritické infrastruktury, vzdělávání a odborné přípravy či vymáhání práva) – u takových systémů se subjekt musí postarat o soulad s požadavky, jež na tuto kategorii klade Akt o AI, tedy především musí zajistit vhodné postupy správy a řízení dat, vést dostatečnou technickou dokumentaci a registrovat příslušný systém AI do databázi EU pro vysoce rizikové systémy AI;
- střední riziko (systémy AI, které s sebou mohou nést riziko vydávání se za někoho jiného, např. chatboty, systémy rozpoznávání emocí, systémy biometrické kategorizace či systémy generující tzv. deepfake obsah) – u takových systémů AI bude subjekt muset především zajistit, aby si uživatelé byli vědomi, že komunikují se strojem, a obsah označovat jako uměle vytvořený nebo zmanipulovaný;
- nízké riziko (např. videohry využívající AI či spamové filtry) – s těmito systémy AI (zatím) Akt o AI nespojuje žádné povinnosti.
Po pečlivém posouzení, do které úrovně rizika konkrétní systém AI patří, by měl subjekt přijmout opatření stanovená Aktem o AI pro danou kategorii rizika. Současně doporučujeme zejména zavedení systému řízení rizik spojených s AI, školení zaměstnanců, aby byli schopni správně využívat a řídit AI systémy, vedení dostatečné dokumentace či zjišťování aktuálních informací z této oblasti. Jako vhodné se rovněž jeví i vypracování etického kodexu v souvislosti s předmětnými systémy AI.
Sankce hrozící za nedodržování Aktu o AI
Za nedodržování postupů dle Aktu o AI hrozí subjektům podstatné sankce. Hrozící správní pokuta se pohybuje ve výši od 7,5 milionu eur do 35 milionů eur nebo, dopustí-li se porušení právnická osoba, ve výši od 1 % do 7 % jeho celkového celosvětového ročního obratu za předchozí finanční rok, podle toho, která hodnota je vyšší.
Účinnost
Akt o AI bude v celém rozsahu účinný od 2. srpna 2026. Některá ustanovení budou nicméně účinná dříve; například ustanovení týkající se systémů AI představující neakceptovatelné riziko budou účinná již od 2. února 2025, ustanovení týkající se vysoce rizikových systémů AI pak od 2. srpna 2025.
Závěrem
Akt o AI je zásadním milníkem pro další vývoj i užívání systémů AI. Přes účinnost nastávající postupně od 2. února 2025 do 2. srpna 2026 doporučujeme všem subjektům, aby jednaly již nyní, především aby si posoudily, zda se na ně povinnosti vyplývající z Aktu o AI budou vztahovat či nikoliv a v případě, že ano, aby zvážily, jakou úroveň rizika konkrétní systém AI představuje, a přijaly opatření v souladu s ustanoveními Aktu o AI. Vhodné může být i zavedení systému řízení rizik spojených s AI, školení zaměstnanců, vedení dostatečné dokumentace, zjišťování aktuálních informací z této oblasti či vypracování etického kodexu v souvislosti s předmětnými systémy AI.
V případě zájmu o další informace či poradenství ohledně Aktu o AI a souvisejících povinností se prosím obraťte na autory článku nebo na další členy týmu EY, se kterými spolupracujete.
Autoři:
-
Legal Alert - English
The European Union AI Act Introduces a Number of New Obligations
Artificial Intelligence ("AI") is currently having a significant impact in a wide range of areas, including the automotive industry, culture, education and healthcare. The ubiquity of AI and its impact on the daily lives of most of us is manifested, among other things, in its use by recommendation systems (e.g. Netflix, Spotify or YouTube), virtual assistants (e.g. Alexa or Siri) or generative and creative tools (e.g. AI Art, ChatGPT or DeepL).
The AI Act
In response to the growing importance of AI and the related growing concerns about the impact of AI on fundamental rights and freedoms in particular, the European Union ("EU") has drafted the Artificial Intelligence Act ("AI Act"), which is the world's first concrete initiative on AI regulation. The AI Act is a regulation, i.e. a legal standard of general application that is binding in its entirety and directly applicable in all EU Member States. In particular, the AI Act aims to ensure that the development, marketing, operation and use of AI are in line with EU values. Other objectives include promoting the deployment of trustworthy AI, ensuring a high level of protection of health, safety and fundamental rights as enshrined in the Charter of Fundamental Rights of the European Union, and promoting innovation.
Who is covered by the AI Act?
The AI Act defines those involved in AI quite broadly. In particular, AI system providers, users, importers, distributors and manufacturers of relevant products, both those established or located in the EU and those operating in a third country, will be liable if the output of the AI system is used in the EU.
What obligations does the AI Act bring?
Each entity should assess whether it is subject to the obligations under the AI Act, in particular whether it develops, produces or uses an AI system. These are defined by the AI Act as a "machine-based system designed to operate with varying levels of autonomy, that may exhibit and which, once implemented, can exhibit adaptability and which, for explicit or implicit purposes, infers from the inputs received how to generate outputs such as predictions, content, recommendations or decisions that can affect physical or virtual environments".
Where the AI Act applies to a company, the company should assess the level of risk posed by a particular AI system. The AI Act distinguishes between four levels:
- unacceptable risk (e.g., AI systems that exploit the vulnerabilities of specific groups of individuals, create social assessments primarily for public authorities, assess individuals' risk of committing a crime, or use real-time and publicly accessible remote biometric identification for law enforcement purposes, unless one of the enumerated exceptions applies) - such AI systems are prohibited;
- high risk (AI systems that may have a negative impact on the health, safety, fundamental rights or the environment of individuals, either as a stand-alone product or as part of a product, e.g. in the area of critical infrastructure, education and training or law enforcement) - for such systems, the entity must ensure compliance with the requirements imposed by the AI Act for this category, i.e. in particular it must ensure appropriate data governance and management procedures, maintain sufficient technical documentation and register the relevant AI system in the EU database for high-risk AI systems;
- limited risk (AI systems that may pose a risk of impersonation, e.g. chatbots, emotion recognition systems, biometric categorisation systems, or systems that generate deepfake content) - for such AI systems, the entity must ensure that users are aware that they are interacting with a machine and flag content as artificial or manipulated;
- minimal risk (e.g. video games using AI or spam filters) - the AI Act does not (yet) attach any obligations to such AI systems.
After a careful assessment of the risk level to which a particular AI system belongs, the company should take the measures set out in the AI Act for that risk category. In particular, we recommend implementing an AI risk management system, training employees in the proper use and management of AI systems, maintaining sufficient documentation or identifying up-to-date information in this area. The development of a code of ethics in relation to AI systems also seems appropriate.
Penalties for non-compliance with the AI Act
Failure to comply with the procedures under the AI Act can result in significant penalties for legal entities. Administrative fines range from €7.5 million to €35 million or, if the offence is committed by a legal entity, from 1% to 7% of its total worldwide annual turnover for the preceding financial year, whichever is the greater.
Effectiveness
The AI Act will be effective in its entirety from 2 August 2026. However, certain provisions will take effect earlier, for example, the provisions relating to AI systems that pose an unacceptable risk will take effect from 2 February 2025 and the provisions relating to high-risk AI systems will take effect from 2 August 2025.
Conclusion
The AI Act is an important milestone for the further development and use of AI systems. Despite the staggered commencement date from 2 February 2025 to 2 August 2026, we encourage all businesses to act now, in particular to assess whether they will be subject to the obligations of the AI Act and, if so, to consider the level of risk posed by a particular AI system and to take action in accordance with the provisions of the AI Act. It may also be appropriate to establish an AI risk management system, train staff, maintain sufficient documentation, gather up-to-date information in this area or develop a code of ethics in relation to the AI systems in question.
For further information or advice on the AI Act and related obligations, please contact the authors of this article or other members of the EY team with whom you work.
Authors:
