Algoritmi v rokah države: Zakaj je transparentnost nujna za prihodnost javnih storitev?

Vprašanje umetne inteligence (UI) je vprašanje upravljanja države in javnih storitev, zato gre za enega ključnih družbenih izzivov. Ker mora biti odgovorna in transparentna raba del sistemskih ukrepov in zakonskega okvira, smo vladi in ministrstvu za digitalno preobrazbo poslali priporočila za vzpostavitev registra uporabe UI v javni upravi. Na to temo smo nedavno organizirali tudi pogovor med koordinatorko na inštitutu Danes je nov dan, Majo Cimerman, in direktorjem španske organizacije Civio, Davidom Cabom.

Argument za vzpostavitev slovenskega registra UI

Predlog za vzpostavitev registra smo predstavili zato, ker je trenutno izjemno težko vedeti, katere slovenske javne institucije dejansko uporabljajo sisteme UI in za kakšen namen. Posledično je tudi težko ocenjevati te sisteme, njihovo uporabnost ter njihov učinek na naše pravice in potencialno nevarnost. Čeprav naš civilnodružbeni register trenutno beleži devet sistemov, ocenjujemo, da jih je v resnici v uporabi več deset.

Celovitega vpogleda na to področje nimamo ne mi, ne novinarji, verjamemo pa, da ga nimajo niti odločevalci na ministrstvu za digitalno preobrazbo. To je še posebej skrb vzbujajoče, saj glede na javna naročila in projekte, ki jih spremljamo, pričakujemo, da bo raba UI v prihodnjih letih eksponentno narasla.

Zakaj je pomembno, da imamo javni nadzor nad rabo UI

K avtomatizaciji javnih storitev moramo pristopiti s previdnostjo in se zavedati možnih tveganj. To nam kažejo konkretni primeri iz tujine, kjer so netransparentni sistemi že povzročili resno škodo. V Španiji je sistem z imenom BOSCO, namenjen dodeljevanju popustov za elektriko socialno ogroženim, deloval kot "črna škatla". Zaradi napak v zasnovi je sistematično zavračal upravičene prosilce, med drugim vdove z nizkimi dohodki, ki bi morale biti upravičene do pomoči.

Ta izkušnja je pokazala, da brez transparentnosti napake ostanejo skrite, posledice pa nosijo najranljivejši. Prav tako so Civio kasneje odkrili podoben, javnosti neznan sistem v zaporih, ki je ocenjeval tveganje zapornikov in vplival na odobritev njihovih prošenj za začasni izpust. Če za obstoj sistema sploh ne vemo, je njegovo uporabo nemogoče nadzorovati, s tem pa je zelo težko odkriti tudi morebitne napake.

O registrih UI

Ravno takšne izkušnje so špansko civilno družbo spodbudile k oblikovanju koalicije, ki od vlade zahteva vzpostavitev celovitega registra algoritmov. Svoj predlog so zasnovali na podlagi analize najboljših obstoječih praks v Evropi, kot je register na Nizozemskem. Ključno pri tem je, da se vlade ne smejo zanašati zgolj na akt o UI, ki predpisuje evropsko bazo podatkov. Ta baza bo namreč pokrivala le ozko področje “visokotveganih” sistemov, številne druge, ki pomembno vplivajo na življenja ljudi, pa bo spregledala. Nacionalni register mora imeti širši obseg in vključevati vse avtomatizirane sisteme odločanja, ne le tistih, ki so ozko tehnično opredeljeni kot UI.

Kako naj izgleda slovenski register UI

Na Danes je nov dan poudarjamo, da bi register v veliki meri le sistematiziral informacije, ki so po Zakonu o dostopu do informacij javnega značaja večinoma že dostopne. Vendar pa je do teh podatkov v praksi zelo težko priti, saj so razpršeni po letnih poročilih in spletnih straneh različnih institucij, kar onemogoča učinkovit javni nadzor. Obenem pa moramo imeti že veliko informacij, denimo ime sistema, da lahko sploh zaprosimo za obrazložitve. Prav zato je vzpostavitev centraliziranega in urejenega registra nujen korak k resnični transparentnosti.

Da bi bil takšen register resnično koristen, mora zadostiti nekaterim pogojem:

• Nuditi mora celovite informacije o sistemu, vključno s tehničnimi informacijami o modelu, podatkih, na katerih je bil učen, in logiki njegovega delovanja.
• Vključevati mora vse sisteme, tudi tiste, ki jih uporabljata policija in vojska, sisteme, ki niso več v uporabi, ter tiste, ki so šele v fazi razvoja ali nakupa.
• Biti mora oblikovan uporabnikom razumljivo in preprosto, tako da so informacije dostopne širši javnosti, ne le strokovnjakom.

Register sam po sebi ne more zagotoviti popolnoma varne rabe UI, je pa nujen in temeljni predpogoj za družbeno razpravo o tem, kateri sistemi avtomatiziranega odločanja so v naši družbi sprejemljivi in kdaj je njihova raba upravičena.

Oglejte si celoten posnetek pogovora Algoritmi v rokah države: vemo dovolj? v okviru dogodka »Država in umetna inteligenca: kdo postavlja pravila prihodnosti«.

Sogovornika:
- Maja Cimerman, Danes je nov dan
- David Cabo, Civio