Poziv: Akt o umetni inteligenci mora zaščititi vse ljudi, ne glede na njihov migracijski status

Uredba Evropskega parlamenta in Sveta o določitvi harmoniziranih pravil o umetni inteligenci (akt o umetni inteligenci) mora enakovredno zaščititi vse ljudi pred nevarnostmi diskriminatornih sistemov umetne inteligence, vključno s tistimi osebami, ki zaprosijo za vizum ali dovoljenje za prebivanje, iščejo azil ali živijo z neurejenim migrantskim statusom.

Spodaj podpisane organizacije pozivamo Ministrstvo za digitalno preobrazbo RS, druga pristojna ministrstva, Vlado RS in Državni zbor RS, da se v posodobljenem stališču Republike Slovenije do predloga akta zavzame za zaščito pravic marginaliziranih ljudi, tujk_cev, migrantk_ov, begunk_cev, iskalk_cev azila in drugih z neurejenim migrantskim statusom.

Odgovorne pozivamo, da se Slovenija v novem stališču zavzame za:

• Razširitev uvodne izjave akta z vključitvijo mednarodnih obveznosti na področju nacionalne varnosti, migracij in mednarodne zaščite.
• Prepoved nesprejemljive in pogosto tudi eksperimentalne uporabe sistemov umetne inteligence v kontekstu kazenskega pregona, nacionalne varnosti in nadzora migracij, med drugim sistemov za biometrično identifikacijo na daljavo v realnem času in naknadno, individualno profiliranje, ocene tveganja, napovedno analitiko, uporabo poligrafov in podobnih orodij za preverjanje verodostojnosti, sistemov za prepoznavanje čustev in biometrično kategorizacijo.
• Razširitev seznama sistemov z visokim tveganjem s sistemi, ki se uporabljajo pri nadzoru migracij, vključno s tehnologijo nadzora, ki stopnjuje nasilje na mejah, ter sistemi biometrične identifikacije, ki vodijo do rasnega profiliranja. Izrecna vključitev rabe sistemov, kot so denimo zaznavanje narečij in orodja za pridobivanje mobilnih podatkov, ki poskušajo oceniti verodostojnost kakršnih koli dokazov, predloženih v podporo vlogam za vizum, dovoljenje za prebivanje, mednarodno zaščito ali drugim vlogam.
• Zavrnitev izjeme za umetnointeligenčne sisteme, ki so komponente obsežnih EU informacijskih sistemov na območju svobode, varnosti in pravice.
• Zagotovitev transparentnosti rabe in metod nadzora z uvedbo mehanizmov za nadzor javnosti, vključno z bazo rab, ocenami učinka, obveščanje o rabi ter pravicami do zastopanja in vlaganja pritožb fizičnih oseb in organizacij v javnem interesu, ki velja tudi za rabo umetnointeligenčnih sistemov v kontekstu kazenskega pregona, nacionalne varnosti in migracij

Podpisnice:

Danes je nov dan, Inštitut za druga vprašanja

PIC - Pravni center za varstvo človekovih pravic in okolja

Društvo Amnesty International Slovenije

Zavod Krog

Mirovni inštitut

Slovenska filantropija

Zavod Emma

Državljan D

Akt o umetni inteligenci mora zaščititi vse ljudi, ne glede na njihov migracijski status

Uredba Evropskega parlamenta in Sveta o določitvi harmoniziranih pravil o umetni inteligenci (akt o umetni inteligenci) mora enakovredno zaščititi vse ljudi pred nevarnostmi diskriminatornih sistemov umetne inteligence, vključno s tistimi osebami, ki zaprosijo za vizum ali dovoljenje za prebivanje, migrirajo, iščejo azil ali živijo z neurejenim migrantskim statusom.

Spodaj podpisane organizacije pozivamo Ministrstvo za digitalno preobrazbo RS, druga pristojna ministrstva, Vlado RS in Državni zbor RS, da se v posodobljenem stališču Republike Slovenije do predloga akta zavzame za zaščito pravic marginaliziranih ljudi, tujk_cev, migrank_tov, begunk_cev, iskalk_cev azila in drugih z neurejenim migrantskim statusom.

Kaj je problem?

Trenutna verzija akta o umetni inteligenci obravnava tveganja uporabe umetne inteligence in vzpostavlja pravni okvir za njeno rabo. Vendar pa nekatere tehnologije in njene rabe niso dovolj zajete v akt ali so iz njega celo popolnoma izključene, kar bi lahko povečalo tveganje, da bodo pravice tujk_cev, migrantk_ov, begunk_cev, drugih z neurejenim migrantskim statusom in drugih marginaliziranih kršene še bolj kot doslej.

Državni organi že danes uporabljajo tehnologije umetne inteligence zunaj in znotraj evropskih meja za profiliranje ljudi in območij z namenom ocene tveganj in predvidevanja potencialnih kriminalnih dejanj. Sistemi so velikokrat razviti in vodeni s podporo zasebnega sektorja ter zgrajeni na podlagi pristranskih in celo nestrokovnih predpostavk. Kljub temu, da imajo ti sistemi moč za sprejemanje odločitev, ki bistveno spreminjajo življenja, in ustvarjajo velika tveganja za kršenje temeljnih človekovih pravic tujk_cev, begunk_cev, migrantk_ov, iskalk_cev azila, drugih z neurejenim migrantskim statusom in drugih marginaliziranih oseb, EU v teh sistemih vidi predvsem koristi, njihove rabe pa izključuje iz akta o umetni inteligenci.

Akt v obstoječi obliki zato ne ščiti vseh posameznic_kov in skupin enakovredno in vzpostavlja dvonivojski sistem, v katerem so ljudje z neurejenim migrantskim statusom zaščiteni manj kot preostanek družbe. V zvezi z migracijami in azilom predlog ne omenja potrebe po spoštovanju mednarodnih pravnih obveznosti in ne vsebuje posebej strogih določb, ki bi urejale uporabo tehnologij umetne inteligence za namene priseljevanja, azila in nadzora meja.

Zakaj je to problem?

Spoštovanje človekovih pravic je ena od temeljnih obveznosti Evropske unije. Te pravice mora Unija spoštovati pri sprejemanju in izvajanju svojih politik in programov tako na nivoju EU kot posameznih držav članic, tako znotraj in zunaj EU kot tudi na vseh mejah EU. Zato mora EU zagotoviti, da se nove tehnologije, med njimi tudi umetna inteligenca, ne uporabljajo za krepitev predsodkov in zatiranje marginaliziranih skupin, predvsem tujk_cev, migrantk_ov, begunk_cev, iskalk_cev azila in drugih oseb z neurejenim migrantskim statusom.

Za mnoge od njih te tehnologije še krepijo širši sistem pretiranega nadzora, kriminalizacije, strukturne in sistemske diskriminacije ter nasilja:

• Sistemi individualnega profiliranja in ocenjevanja tveganja, ki temeljijo na umetni inteligenci, ocenjujejo in profilirajo ljudi na podlagi vnaprej določenih kazalnikov tveganja, ki so pogosto netransparentni in niso javno objavljeni, obenem pa na podlagi predvidevanj povezujejo osebne podatke in vnaprej določene “sporne” lastnosti. Raba tovrstnih orodij tvega kršitve pravic do nediskriminacije in enakosti ter je v nasprotju z Listino EU o temeljnih pravicah in svoboščinah, mednarodnim pravom o rasni diskriminaciji ter mednarodnim pravom o človekovih pravicah.
• Z uporabo algoritemskega profiliranja in oblikovanja ocen tveganj so kršene tudi številne druge temeljne pravice, kot so pravica do zasebnega in družinskega življenja, pravica do varstva osebnih podatkov, pravica do poštenega sojenja in domneva nedolžnosti ter pravica do učinkovitih pravnih sredstev. Ocene ne upoštevajo edinstvenih izkušenj in okoliščin posameznikov, ki so podvrženi njihovim rezultatom. Zaradi neravnovesij moči, v katerih se uporabljajo takšne ocene tveganja, jih je nemogoče izpodbijati. Prizadete osebe namreč nimajo nobenega mehanizma za dostop do parametrov, na katerih temeljijo te ocene, ali za njihovo izpodbijanje zaradi diskriminatornih ali nepravilnih rezultatov, kar povzroča številne nepreklicne in škodljive življenjske odločitve, vključno s prepovedjo vstopa, ločitvami družin, pridržanjem in deportacijo.
• Veliki podatkovni sistemi EU vsebujejo ogromne količine osebnih podatkov. Iz trenutnega akta so ti sistemi izvzeti, tudi zato, ker bodo kmalu vsebovali avtomatizirane tehnologije profiliranja oseb, ki bi bile sicer kategorizirane kot rabe visokega tveganja.

Kaj mora Slovenija zagovarjati?

Z vstopom v zadnjo fazo zakonodajnega postopka, trialog, obstaja strah, da se iz akta ponovno izključijo težko izborjene omejitve policijske uporabe nadzornih tehnologij, spremenijo pravice prizadetih za izpodbijanje uporabe umetne inteligence in poveča vloga vplivnih podjetij pri odločanju o dosegu te zakonodaje.

Od Slovenije pričakujemo, da bo v pogajanjih branila trenutno sprejeto verzijo akta z zavračanjem poskusov izključitve organov za nacionalno varnost, kazenskega pregona in migracij s strani drugih držav članic, ter jo s svojimi stališči še razširila v smer spoštovanja in zaščite človekovih pravic.

Odgovorne pozivamo, da se Slovenija v novem stališču zavzame za:

1. Razširitev uvodne izjave akta z vključitvijo mednarodnih obveznosti na področju nacionalne varnosti, migracij in mednarodne zaščite.

2. Prepoved nesprejemljive in pogosto tudi eksperimentalne uporabe sistemov umetne inteligence v kontekstu kazenskega pregona, nacionalne varnosti in nadzora migracij. Ta mora vključevati:

• Sisteme za biometrično identifikacijo na daljavo v realnem času in naknadno, v vseh javno dostopnih prostorih s strani vseh akterjev, brez izjem za organe pregona in ostale akterje, vključno z nadzorom na mejah in v centrih za pridržanje.
• Razširitev definicije javno dostopnih prostorov, da bo vključevala obmejna območja.
• Individualno diskriminatorno profiliranje in ocene tveganja ter napovedno analitiko, vključno s sistemi, ki se osredotočajo in ciljajo na osebe, skupine, lokacije in območja, ki lahko vodijo do omejevanja, prepovedi ali preprečevanja prehajanja meja.
• Uporabo poligrafov in podobnih orodij za preverjanje verodostojnosti dokumentov ter prošenj, vlog in drugih postopkov v okviru migracij.
• Sisteme za prepoznavanje čustev ali sklepanje o čustvih ali namenih oseb na podlagi njihovih biometričnih podatkov.
• Sisteme za biometrično kategorizacijo za razvrščanje oseb v posebne kategorije, kot so spol, starost, barva las, barva oči, tetovaže, etnično poreklo ali spolna ali politična usmerjenost, na podlagi njihovih biometričnih podatkov.
• Prepoved izvoza sistemov, ki so prepovedani v EU.

3. Razširitev seznama sistemov z visokim tveganjem v Prilogi III s sistemi, ki se uporabljajo pri kazenskem pregonu, zagotavljanju nacionalne varnosti in nadzoru migracij, vključno s tehnologijo nadzora, ki stopnjuje nasilje na mejah, denimo avtomatiziranimi droni ali termalnimi kamerami, sistemi biometrične identifikacije, ki vodijo do rasnega profiliranja, denimo tehnologijami zaznavanja glasu oziroma narečij, skeniranje obrazov, prstnih odtisov in dlani, in izrecna vključitev rabe sistemov, kot so denimo zaznavanje narečij in orodja za pridobivanje mobilnih podatkov, ki poskušajo oceniti verodostojnost kakršnih koli dokazov, predloženih v podporo vlogam za vizum, dovoljenje za prebivanje, mednarodno zaščito ali drugim vlogam.

4. Zavrnitev izjeme za umetnointeligenčne sisteme, ki so komponente obsežnih EU informacijskih sistemov na področjih migracij, varnosti in kazenskega pregona.

• Odpraviti izjeme in vrzeli za obsežne informacijske sisteme s področja svobode, varnosti in pravice (med drugimi EURODAC, VIS, SIS), ki so navedeni v Prilogi IX) in se že uporabljajo.
• Dopolnitev 83. člena tako, da bo ta vključeval tudi rabo umetne inteligence, ki je del obsežnih podatkovnih baz EU v kontekstu migracij, ter skrajšati prehodno obdobje.

5. Zavrnitev izjeme za umetnointeligenčne sisteme, ki so razviti ali uporabljeni v kontekstu nacionalne varnosti.

6. Zagotovitev preglednosti rabe in metod nadzora. Ljudje, ki jih prizadenejo sistemi umetne inteligence z visokim tveganjem, morajo biti sposobni razumeti, izpodbijati in iskati pravna sredstva, kadar ti sistemi kršijo njihove pravice. Uredba mora vključevati obveznost uporabnikov, da izvajajo ocene vpliva na temeljne pravice za sisteme z visokim tveganjem, zagotavljajo javno preglednost in mehanizme, s katerimi lahko prizadeti ljudje izpodbijajo škodljive sisteme.

• Zagotoviti transparentnost glede tega, kaj, kdaj in kako javni akterji uporabljajo umetno inteligenco visokega tveganja na področjih kazenskega pregona, nacionalne varnosti in nadzora migracij, pri čemer se je treba izogniti kakršnim koli izjemam od obveznosti registracije visoko tveganih uporab v zbirko podatkov o umetni inteligenci EU.
• Zagotoviti obveznost vseh javnih in zasebnih uporabnikov, da pred vsako uvedbo sistema umetne inteligence z visokim tveganjem izvedejo in objavijo oceno učinka na temeljne pravice ter v ta proces smiselno vključijo civilno družbo in prizadete ljudi.
• Zagotoviti, da vsi uporabniki sistemov umetne inteligence z visokim tveganjem in uporabniki vseh sistemov v javni sferi pred uvedbo registrirajo njihovo uporabo v javno dostopni bazi podatkov EU.
• Zagotoviti, da za ponudnike umetne inteligence s sedežem v EU, katerih sistemi vplivajo na ljudi zunaj EU, veljajo enake zahteve kot za tiste znotraj EU.
• Zagotoviti, da je poročanje o testiranju sistemov umetne inteligence v peskovnikih transparentno in da ne obstajajo splošne izjeme za obdelavo t.i. občutljivih operativnih podatkov, kar je nejasen in širok izraz.
• Zagotoviti obveznost registracije testiranja v dejanskih pogojih v javno dostopno bazo podatkov EU.
• Zagotoviti, da so ljudje, na katere vplivajo sistemi umetne inteligence, obveščeni in imajo pravico do iskanja informacij, kadar nanje vplivajo odločitve in rezultati sistemov umetne inteligence.
• Vključitev pravice prizadetih ljudi s strani sistemov umetne inteligence, da vložijo pritožbo pri nacionalnem organu.
• Vključitev pravice do zastopanja fizičnih oseb in pravice organizacij javnega interesa, da vložijo samostojne pritožbe pri nacionalnem nadzornem organu.
• Vključitev pravice do učinkovitih pravnih sredstev za kršitve pravic.

Izjave podpisnic

“Ne glede na pozitivne elemente, ki jih vključuje verzija akta o umetni inteligenci, ki je bila sprejeta v Evropskem parlamentu, kot je na primer prepoved biometričnega nadzora, ta še vedno ne dosega mednarodnih standardov človekovih pravic. Za kršitve temeljnih pravic, razen v primeru sistemov z visokim tveganjem, ni pravil za obrazložitve rabe in vlaganje pritožb, obenem pa uredba izključuje pravice ranljivih skupin. Odgovornost Slovenije je, da se postavi v bran tem pravicam tako, da zavrne poskuse izključitve organov za nacionalno varnost, kazenskega pregona in migracij s strani drugih držav članic, ter akt s svojimi stališči še razširi v smer spoštovanja in zaščite človekovih pravic.”

Danes je nov dan, Inštitut za druga vprašanja

***

“Akt o umetni inteligenci postavlja tujce, prosilce za mednarodno zaščito in ostale migrante v bistveno slabši položaj kot državljane EU, saj dovoljuje uporabo širšega nabora umetno inteligenčnih sistemov v postopkih, v katerih se ti nahajajo. Uporaba sistemov z visokim tveganjem pomeni, da se bodo lahko umetno inteligenčni sistemi uporabljali npr. za presojo upravičenosti do vizuma, prošnje za mednarodno zaščito in drugih dovoljenj za prebivanje. Praksa držav, ki so navedene sisteme pilotno že uporabljale (denimo Združeno kraljestvo), je pokazala, da je uporaba izjemno sporna, saj so umetno inteligenčni sistemi diskriminatorni, celo rasistični, rezultati njihovega delovanja pa nenatančni. Pri tem je velik problem netransparentnost, saj ni nujno, da so posamezniki seznanjeni z uporabo umetno inteligenčnega sistema v postopku, v katerem se nahajajo. Potencial za široke zlorabe temeljnih človekovih pravic z uporabo umetno inteligenčnih sistemov z visokim tveganjem je prevelik in ne upravičuje ciljev, ki se z njihovo uporabo zasledujejo. Po našem mnenju bo njihova uporaba vodila še v večjo kriminalizacijo in preganjanje prosilcev za mednarodno zaščito ter neregularnih migrantov ter poglobila diskriminatorno obravnavo tujcev, ki zaprošajo za vizume in dovoljenja za prebivanje. Uredba v delu, ki se nanaša na migracije, sledi in utrjuje politiko držav, ki pri upravljanju migracij dajejo poudarek na njihovem preprečevanju, povečanju nadzora ter obravnavi migracij kot varnostnega problema. V ta namen se v Uredbi človekove pravice ponovno naslavljajo le na deklaratorni ravni, brez resnega namena po zaščiti temeljnih človekovih pravic tujcev. Jasno je, da bo uporaba Uredbe v praksi vodila do njihovih kršitev, posamezniki pa zoper to nimajo nobene možnosti obrambe.”

PIC - Pravni center za varstvo človekovih pravic in okolja

***

“Organizacije civilne družbe pozivamo, naj akt o umetni inteligenci zagotovi enoten standard zaščite za vse, ne glede na pravni ali migracijski status. Avtomatizirani sistemi, ki jih sedanja verzija akta predvideva za odločanje o beguncih, prosilcih za azil in drugih migrantih, kot na primer ocenjevanje tveganja, sistemi napovedne analitike, "detektorji prevar" in prepoznava obrazov, dopuščajo možnost, da se bo o življenjih ljudi odločalo diskriminatorno in z možnostjo usodnih napak. To bi pomenilo, da bi EU legalizirala tehnologije, ki omogočajo strukturni rasizem in z aktom vpeljala dvojna merila glede lastnih standardov s področja človekovih pravic.”

Amnesty International Slovenije