První světová pravidla pro bezpečnou a transparentní AI

Nová regulační pravidla, vymezená v návrhu nařízení EP a Rady, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci a mění určité legislativní akty Unie, mají zaručit, že AI vyvinutá a používaná v Evropské unii bude plně v souladu s právem a hodnotami EU. Nový přímo použitelný právní rámec má zajišťovat mimo jiné dohled člověka nad produkty a používáním AI, bezpečnost, soukromí, transparentnost, nediskriminaci a sociální a environmentální blahobyt.

Akt o umělé inteligenci v EP
Evropská komise, jako předkladatel návrhu nového regulačního rámce, společně se spoluzpravodaji v Evropském parlamentu zaujali postoj, že AI vyvinutá a používaná v Evropě by měla být zaměřena na člověka, měla by být důvěryhodná a být v souladu se základními právy a hodnotami Unie zakotvenými ve Smlouvách. Její právní úprava by zároveň neměla být na překážku inovacím a podnikatelskému prostředí, ale naopak je podporovat.
Právní povinnosti stanovené v nařízení se vztahují pouze na zakázané praktiky, na vysoce rizikové systémy AI a na systémy, které vyžadují transparentnost. Žádný systém AI by neměl být předem vyloučen, a to ani z definice „umělé inteligence“, ani vytvořením výjimek pro konkrétní typy systémů AI. Pokud nejsou poskytovatelé schopni plnit povinnosti podle nařízení z objektivních důvodů, měli by mít možnost uzavírat s uživateli dohody o sdílení odpovědnosti. Klíčovým prvkem legislativního návrhu je rovněž zajištění harmonizace aktu o umělé inteligenci s obecným nařízením o ochraně osobních údajů.
Pokud jde o zakázané praktiky, seznam navržený Komisí byl doplněn o „prediktivní policejní činnost“, neboť panovala shoda, že nelze využívat technologie v rozporu s klíčovou zásadou presumpce neviny.
Vysoce rizikové systémy AI navrhli spoluzpravodajové EP doplnit o řadu případů jejich použití. Vzhledem k tomu, že obzvláště zranitelnou skupinu představují děti, měly by být za vysoce rizikové považovány systémy AI používané k ovlivňování nebo formování jejich vývoje. Systémy AI, které používají kandidáti nebo strany k ovlivňování hlasování v místních, celostátních nebo evropských volbách, a systémy používané ke sčítání hlasů, mohou mít tím, že ovlivňují velký počet občanů Unie, důsledky pro samotné fungování parlamentní demokracie. Proto by měly být rovněž považovány za vysoce rizikové.
Za vysoce rizikové jsou rovněž považovány systémy používané pro třídění pacientů ve zdravotnictví a systémy používané k určení způsobilosti pro účely zdravotního a životního pojištění. Jak požadavkům na transparentnost, tak požadavkům na shodu vysoce rizikových systémů AI by vzhledem k riziku zkreslování reality měly podléhat dva typy systémů AI – deep-fakes napodobující skutečné osoby a redakční obsah vytvořený AI (autoři umělé inteligence). Vysoce rizikové systémy AI však současně nejsou zakázány ani nejsou považovány za nežádoucí. Naopak splnění požadavků na shodu stanovených v aktu o umělé inteligenci má zvýšit důvěryhodnost těchto systémů.
V oblasti správy údajů je zajištěn soulad s obecným nařízením o ochraně osobních údajů. Kromě toho bylo objasněno, že zajištění „bezchybných“ datových souborů by mělo být obecným cílem, nikoli konkrétním požadavkem. Rovněž byly podrobněji upraveny případy, kdy jsou datové soubory v držení uživatelů, zatímco poskytovatel pouze vytváří celkovou architekturu systému.
Uživatelé vysoce rizikových systémů AI rovněž hrají roli při ochraně zdraví, bezpečnosti a základních práv občanů EU, od požadavku jmenovat kompetentní osoby odpovědné za lidský dohled nad vysoce rizikovými systémy až po aktivnější úlohu při hlášení incidentů nebo selhání systému AI. Proto by veřejné orgány a instituce nebo jiné subjekty Unie měly zaznamenat používání vysoce rizikových systémů AI do celounijní databáze, což by mělo zajistit dohled, veřejnou kontrolu, odpovědnost i transparentnost vůči veřejnosti, pokud jde o používání systémů v citlivých oblastech. Uživatelé vysoce rizikových systémů AI (dle přílohy III. nařízení), jež rozhodují nebo pomáhají při rozhodování o fyzických osobách, by navíc tyto fyzické osoby o tom, že se na ně vztahuje použití vysoce rizikového systému, měli informovat.
Na vnitrostátní úrovni EP zdůraznil potřebu úzké spolupráce mezi orgány dozoru nad trhem a orgány pro ochranu údajů. V případech porušení základních práv by měly být úzce zapojeny i příslušné orgány pro základní práva.
S cílem řešit aplikační problémy, které mají dopad na jednotlivce v několika členských státech, navrhl EP nový mechanismus prosazování ze strany Komise, který by se uplatnil v případech rozsáhlého porušování právních předpisů (ve třech nebo více členských státech), a to i v případě nečinnosti při protiprávním jednání, které má dopad na nejméně tři členské státy. V rámci tohoto mechanismu by v případech rozsáhlého protiprávního jednání měla mít Komise pravomoci orgánu dozoru nad trhem.

Zakázané postupy v oblasti AI
Schválený společný postoj k návrhu aktu o umělé inteligenci stanoví jasné povinnosti poskytovatelů a provozovatelů AI v závislosti na rizicích, která s sebou AI může nést. Systémy AI s nepřijatelnou mírou rizika pro bezpečnost lidí, jako jsou systémy používané pro bodování občanů (klasifikace lidí na základě jejich sociálního chování nebo osobních vlastností), by byly zakázány.
Pravidla počítají s tím, že systémy AI, u nichž je úroveň rizika pro bezpečnost lidí nepřijatelná, budou zakázané. Poslanci rozšířili seznam zakázaných systémů i na AI, která je diskriminační nebo zasahuje do soukromí, například:
- systémy biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech;
- systémy biometrické identifikace na dálku „zpětně“, s výjimkou orgánů činných v trestním řízení pro stíhání závažných trestných činů a pouze po soudním povolení;
- systémy biometrické kategorizace, které využívají citlivé údaje (jako je např. pohlaví, rasa, etnický původ, občanství, náboženství, politická orientace);
- prediktivní policejní systémy (založené na profilování, lokalizaci nebo dřívější trestné činnosti);
- systémy rozpoznávání emocí v oblasti prosazování práva, správy hranic, na pracovišti a ve vzdělávacích institucích; a
- necílené shromažďování zobrazení obličeje z internetu nebo kamerových systémů za účelem tvorby databází pro rozpoznávání obličeje (což porušuje lidská práva a právo na soukromí).

Vysoce riziková AI
Schválený postoj v prvním čtení požaduje, aby klasifikace vysoce rizikových aplikací zahrnovala systémy AI, které významně poškozují zdraví, bezpečnost, základní práva nebo životní prostředí. Na seznam vysoce rizikových systémů byly přidány systémy AI, které se využívají k ovlivňování voličů a výsledků voleb a v doporučovacích systémech používaných platformami sociálních médií (s více než 45 miliony uživatelů).

Povinnosti týkající se obecných systémů AI
Poskytovatelé základních modelů – nového a rychle se vyvíjejícího trendu v oblasti AI – budou muset před jejich uvedením na evropský trh posoudit a zmírnit jejich možná rizika (pro zdraví, bezpečnost, základní práva, životní prostředí, demokracii a právní stát) a zaregistrovat je do databáze EU. Generativní systémy AI založené na těchto modelech, budou podle nových pravidel muset být transparentní (informovat o tom, že obsah byl vytvořen umělou inteligencí a pomáhat rozlišit tzv. deep-fake snímky od skutečných) a zabránit generování nezákonného obsahu. Poskytovatelé budou také muset zveřejnit podrobný souhrn dat chráněných autorským právem, na kterých se jejich systémy učily.

Podpora inovací a ochrana práv
V zájmu podpory inovací umělých inteligencí a malých a středních podniků doplnili poslanci výjimky pro výzkumnou činnost a pro součásti AI poskytované v rámci otevřených licencí. Nový právní předpis podporuje tzv. regulační pískoviště či reálné prostředí zřízené veřejnými orgány, kde lze AI před jejím uvedením do provozu testovat.
Současně poslanci navrhli svěřit občanům větší práva při podávání stížností na systémy AI. Měli by mít také právo znát důvody rozhodnutí, která byla učiněna na základě vysoce rizikových systémů AI a mají významný dopad na jejich základní práva. Poslanci rovněž redefinovali úlohu úřadu EU pro AI, který má být pověřen dohlížením na to, jak je soubor pravidel pro umělou inteligenci uplatňován.

Další legislativní postup
Schválený postoj v prvním čtení byl předložen k jednání s Radou (EU) o konečné podobě aktu o AI, které bylo zahájeno okamžitě. Evropský parlament současně vyzval Komisi, aby věc znovu postoupila Parlamentu, jestliže svůj návrh nahradí jiným textem, podstatně jej změní nebo má v úmyslu jej podstatně změnit. Pověřuje také svou předsedkyni, aby předala postoj Parlamentu Radě a Komisi, jakož i vnitrostátním parlamentům k legislativnímu posouzení.
Akt o umělé inteligenci vstupuje v platnost dvacátým dnem po vyhlášení v Úředním věstníku EU a použije 24 měsíců od vstupu v platnost, což by mohlo být nejdříve v roce 2025.

Petr Mišúr
Foto: Shutterstock

Publikováno: 20. 7. 2023 | Počet zobrazení: 250 49