ZAKLJUČAKO USVAJANJU ETIČKIH SMERNICA ZA RAZVOJ, PRIMENU I UPOTREBU POUZDANE I ODGOVORNE VEŠTAČKE INTELIGENCIJE("Sl. glasnik RS", br. 23/2023) |
1. Usvajaju se Etičke smernice za razvoj, primenu i upotrebu pouzdane i odgovorne veštačke inteligencije, koje su sastavni deo ovog zaključka.
2. Preporučuje se organima državne uprave i imaocima javnih ovlašćenja (autonomnim pokrajinama, opštinama, gradovima, gradu Beogradu, javnim preduzećima, ustanovama, javnim agencijama i drugim organizacijama) da prilikom razvoja, primene i upotrebe sistema koji mogu biti klasifikovani kao sistemi veštačke inteligencije ili nabavke istih, primenjuju Etičke smernice za razvoj, primenu i upotrebu pouzdane i odgovorne veštačke inteligencije iz tačke 1. ovog zaključka radi utvrđenja pouzdane i odgovorne veštačke inteligencije sa aspekta etičkih principa. Primena Etičkih smernica za razvoj, primenu i upotrebu pouzdane i odgovorne veštačke inteligencije se može ograničiti ili isključiti ukoliko se radi o pitanjima iz domena odbrane i bezbednosti Republike Srbije.
3. Preporučuje se svim licima, koja nisu obuhvaćena tačkom 2. ovog zaključka, uključujući fizička i pravna lica, koja razvijaju, primenjuju i koriste sisteme koji mogu biti klasifikovani kao sistemi veštačke inteligencije ili nabavljaju iste, da primenjuju Etičke smernice za razvoj, primenu i upotrebu pouzdane i odgovorne veštačke inteligencije iz tačke 1. ovog zaključka radi utvrđenja pouzdane i odgovorne veštačke inteligencije sa aspekta etičkih principa.
4. Ovaj zaključak objaviti u "Službenom glasniku Republike Srbije".
ETIČKE SMERNICE
ZA RAZVOJ, PRIMENU I UPOTREBU POUZDANE I ODGOVORNE VEŠTAČKE INTELIGENCIJE
Beograd, februar 2023.
Sadržaj
1. Uvod |
3 |
1.1. Razlog donošenja Smernica |
3 |
1.2. Osnov donošenja |
3 |
1.3. Primena Smernica |
5 |
2. REČNIK TERMINA I DEFINICIJA |
5 |
2.1. Etika |
5 |
2.2. Sistem veštačke inteligencije |
6 |
2.3. Visokorizični sistemi veštačke inteligencije |
7 |
2.4. Zaštita podataka o ličnosti |
10 |
3. NAČELA |
10 |
3.1. Objašnjivost i proverljivost |
10 |
3.2. Dostojanstvo |
11 |
3.3. Zabrana činjenja štete |
12 |
3.4. Pravičnost |
13 |
4. USLOVI POUZDANE I ODGOVORNE VEŠTAČKE INTELIGENCIJE |
14 |
4.1. Delovanje i kontrola |
15 |
4.2. Tehnička pouzdanost i bezbednost |
18 |
4.3. Privatnost, zaštita podataka o ličnosti i upravljanje podacima |
24 |
4.4. Transparentnost |
27 |
4.5. Različitost, nediskriminacija i ravnopravnost |
32 |
4.6. Društveno i ekološko blagostanje |
35 |
4.7. Odgovornost |
38 |
5. ZAKLJUČAK |
40 |
1.1. Razlog donošenja Smernica
Etičke smernice za razvoj, primenu i upotrebu pouzdane i odgovorne veštačke inteligencije (u daljem tekstu: Smernice) za cilj imaju da omoguće da se nauka, posebno u oblasti veštačke inteligencije, razvija i napreduje ali da ne dozvole da se čovek, kao centralna figura svih procesa koji na njega utiču i čiji je posredni ili neposredni činilac, ugrozi i zapostavi. Takođe, sistemi veštačke inteligencije koji se razvijaju moraju da budu u skladu s dobrobiti čoveka, životinja i životne sredine.
Veštačka inteligencija jedan je od stubova četvrte industrijske revolucije. Kao pravac razvoja računarske nauke i inženjerstva počela je da se razvija pre nekoliko decenija s periodima uspona i stagnacija. Zahvaljujući prodoru u oblasti neuronskih mreža, sve većoj količini dostupnih podataka pogodnih za mašinsko učenje, kao i sve većoj dostupnosti mikroprocesora pogodnih za obimna numerička izračunavanja, u poslednjih nekoliko godina krenuli su nagli razvoj i širenje primene veštačke inteligencije u oblastima zdravstva, finansija, obrazovanja, energetike, obrade teksta na prirodnom jeziku, govornih tehnologija, kompjuterske vizije i dr.
Razvoj (sistema) veštačke inteligencije usmeren je u pravcu stvaranja rešenja koja će ispunjavati odgovarajuće standarde tokom čitavog životnog ciklusa, na osnovu kojih će biti okarakterisana kao pouzdana i odgovorna. U načelu, pouzdana i odgovorna veštačka inteligencija je ona koja je: tehnički pouzdana i bezbedna, u skladu sa zakonom i utvrđenim etičkim principima i vrednostima. Svaka od navedene tri komponente posmatra se zasebno; uslovi ocene i ishod same ocene jedne od komponenata ne pretpostavljaju uslove ocene i ishod ocene druge komponente. Navedene komponente treba dovesti u harmonizovani odnos, tako da se ispunjenjem sve tri veštačka inteligencija može oceniti kao pouzdana i odgovorna.
Osnovni cilj donošenja Smernica je da se ne dozvoli da procesi u kojima učestvuje sistem veštačke inteligencije ugroze ili da marginalizuju čoveka i delovanje čoveka i da se sloboda delovanja, mišljenja i odlučivanja ne naruši u meri da prava i tekovine koje čuvaju te vrednosti budu obesmišljene, umanjene ili zaboravljene. Ovo se pre svega odnosi na kreiranje ekosistema u kome će se upotrebom veštačke inteligencije unaprediti produktivnost ljudi, optimalnije koristiti resursi u radu i funkcionisanju ljudi i društva u celini i unaprediti kvalitet života ljudi.
Osnov za donošenje Smernica sadržan je u Strategiji razvoja veštačke inteligencije u Republici Srbiji za period 2020-2025,1 koja je kao jedan od svojih pet ciljeva postavila etičku, bezbednu primenu veštačke inteligencije i ovu aktivnost odredila u Akcionom planu za period 2020-2022.2
Kako bi se ovaj cilj ostvario, neophodno je razviti i uvesti mehanizme koji će omogućiti odgovoran razvoj veštačke inteligencije i proveru da li su ovi sistemi u skladu s najvišim etičkim i bezbednosnim standardima. Ovim smernicama definišu se standardi i način provere primene tih standarda pri razvoju i korišćenju sistema veštačke inteligencije.
UNESCO je, u novembru 2021, usvojio Preporuke o etici sistema veštačke inteligencije (eng. Recommendation on the Ethics of AI)3 u čijoj su izradi učestvovali i predstavnici Republike Srbije.4 Principi iz Preporuka sadržani su i u ovim smernicama.
U smislu člana 72. Sporazuma o stabilizaciji i pridruživanju između Evropskih zajednica i njihovih država članica, s jedne strane i Republike Srbije s druge (u daljem tekstu: Sporazum o stabilizaciji), Republika Srbija obavezala se da obezbedi postepeno usklađivanje postojećih zakona i budućeg zakonodavstva s pravnim tekovinama Zajednice koje svakako čine i pravni akti Zajednice. Ova obaveza potvrđena je i odredbama Ustava Republike Srbije, a naročito članom 194.
Evropska komisija je, u aprilu 2021, Evropskoj uniji podnela predlog regulatornog okvira veštačke inteligencije - Predlog Uredbe Evropskog parlamenta i Saveta o utvrđivanju usklađenih pravila o veštačkoj inteligenciji5 i izmeni određenih zakonodavnih akata Unije (u daljem tekstu: Predlog EU Uredbe o VI). Ovim Aktom Evropska unija nastoji da kreira pravni okvir za razvoj i korišćenje veštačke inteligencije, kako bi se olakšao i povećao nivo ulaganja i inovacija u ovoj oblasti, odnosno kreiralo jedinstveno tržište za sigurnu i pouzdanu primenu sistema veštačke inteligencije.
Prethodno je i Komesar za ljudska prava pri Savetu Evrope izdao Preporuke od deset tačaka o veštačkoj inteligenciji i ljudskim pravima koje se nadograđuju na ono što je Savet Evrope već uradio u ovoj oblasti, naročito kroz Evropsku etičku povelju o korišćenju veštačke inteligencije u pravosuđu, Smernice o veštačkoj inteligenciji i zaštiti podataka, Deklaraciju Saveta ministara o manipulativnim mogućnostima algoritamskih procesa, Studiju o dimenzijama ljudskih prava u tehnikama automatske obrade podataka i mogućim regulatornim implikacijama, kao i izveštaj Specijalnog izvestioca Ujedinjenih nacija o promociji i zaštiti slobode mišljenja i izražavanja, u kome se razmatraju implikacije tehnologija veštačke inteligencije na ljudska prava u informacionom društvu.
Kako bi se obezbedilo postepeno usklađivanje zakonodavnog okvira s pravnim tekovinama Evropske unije, kao i stvaranje pravnog okvira unutar Republike Srbije za razvoj i primenu etički usklađenih sistema veštačke inteligencije, Vlada Zaključkom usvaja dokument Smernica kojim preporučuje da ih primenjuju svi državni organi i organizacije, organi i organizacije pokrajinske autonomije, organi i organizacije jedinica lokalne samouprave, ustanove, javna preduzeća, posebni organi preko kojih se ostvaruje regulatorna funkcija i pravna i fizička lica kojima su poverena javna ovlašćenja, kada u svom radu uspostavljaju i koriste sisteme veštačke inteligencije. Preporuka je da ove Smernice primenjuju i druga pravna i fizička lica koja razvijaju i/ili upotrebljavaju sisteme veštačke inteligencije.
Smernice nastoje da obuhvate najširi spektar učesnika u ekosistemu veštačke inteligencije, kako bi se uspostavio horizontalni pristup primene pravila. Smernice se odnose na sledeća lica:
- lica koja rade na razvoju i/ili primeni sistema veštačke inteligencije;
- lica koja primenjuju sisteme veštačke inteligencije, pre svega u svom radu koji uključuje i interakciju s drugim licima (npr. učesnicima na tržištu);
- lica koja koriste sisteme veštačke inteligencije i na koje sistemi imaju:
o neposredan uticaj (npr. koriste sisteme radi ostvarivanja neke javne usluge);
o posredan uticaj (npr. deo su grupe za istraživanje retkih bolesti, čiji se medicinski podaci obrađuju kao deo strategije Republike Srbije za podizanje nivoa zdravlja nacije);
- opštu javnost, u najširem smislu.
Smernice se ne bave pitanjima vlasničke strukture, obligaciono-pravnim odnosima i drugim pravnim pitanjima u vezi s konkretnim rezultatom rada i istraživanja u ekosistemu veštačke inteligencije.
______
1"Službeni glasnik RS", br. 96/2019.
2 "Službeni glasnik RS", br. 81/2020.
3 UNESCO, (2021), Recommendation on the Ethics of AI, dostupne na adresi: https://unesdoc.unesco.org/ark:/48223/pf0000381137/PDF/381137eng.pdf.multi
4 UNESCO, Artificial Intelligence, dostupno na adresi: https://en.unesco.org/artificial-intelligence/ethics
5 European Commission, Proposal for a REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL LAYING DOWN HARMONISED RULES ON ARTIFICIAL INTELLIGENCE (ARTIFICIAL INTELLIGENCE ACT) AND AMENDING CERTAIN UNION LEGISLATIVE ACTS, dostupan na adresi: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A52021PC0206
Primena Smernica obuhvata: 1) sprovođenje javnih konsultacija i obuka, radi boljeg upoznavanja javnosti, uključujući i stručne, s pojmom i značajem veštačke inteligencije, 2) praćenje i evaluaciju primene Smernica u javnom i privatnom sektoru.
Nadležni ministar bliže određuje način integracije primene Smernica.
Zbog značaja razvoja i primene veštačke inteligencije u Republici Srbiji, prepoznata je potreba za njenim zakonskim uređenjem.
2. REČNIK TERMINA I DEFINICIJA
Etika je nauka o moralu, koja istražuje smisao i ciljeve moralnih normi, osnovne kriterijume za moralno vrednovanje, kao i uopšteno zasnovanost i izvor morala. Etika proučava ljudsko ponašanje koje je prihvaćeno pod određenim moralnim aspektom a koje ima uticaja na čoveka, životinje koje mogu da osete bol, patnju, strah i stres, kao i na ekosisteme.
Osnovni etički pojmovi su: moral, dobro, zlo, savest, sloboda, sreća, ljubav, vrlina.
2.2. Sistem veštačke inteligencije
Sistem veštačke inteligencije ili veštačka inteligencija definiše se na različite načine. Većina definicija određuje ga kao softver (softverski model) koji je istreniran nad skupom podataka radi obavljanja specifičnih zadataka (poput prepoznavanja određenih obrazaca i sl.). Definisani pojmovi imaju sledeće značenje u ovim Smernicama:
Nezavisna ekspertska grupa Evropske komisije dala je sledeću definiciju: "Veštačka inteligencija odnosi se na sisteme koji pokazuju razumno i inteligentno ponašanje, i, na osnovu analize svog okruženja, donose odluke - sa određenim stepenom autonomije - kako bi ostvarili konkretne ciljeve. Sistemi zasnovani na veštačkoj inteligenciji mogu biti zasnovani isključivo na softveru i delovati u virtuelnom svetu (na primer: virtuelni asistenti, softveri za analizu fotografija, veb pretraživači, sistemi za preporuke, sistemi za prepoznavanje govora i lica) ili mogu biti ugrađeni u uređaje - hardver (na primer: napredni roboti, autonomna vozila, dronovi i slično)."6 Ti Sistemi uključuju sisteme mašinskog učenja i ekspertske sisteme. "Sistem veštačke inteligencije", "Sistem", "sistem", "veštačka inteligencija" ili samo "VI" imaju isto značenje u okviru Smernica.
Pristrasnost (engl. bias) opisuje sistematske i ponovljive greške u računarskom sistemu koje stvaraju nepravedne ishode, kao što je privilegovanje jedne kategorije nad drugom, na način koji se razlikuje od predviđenih funkcija algoritma.
Autonomni sistem je Sistem koji se ponaša ili obavlja zadatke s visokim stepenom autonomije, odnosno bez spoljnog uticaja.
Bezbednost - fundamentalni koncepti bezbednosti informacionih sistema vezani su za informacionu bezbednost (eng. information security), koja je opisana kroz tri karakteristike: poverljivost (eng. confidentiality), integritet (eng. integrity) i raspoloživost (eng. availability) koje se nazivaju "trougao" ili "trojstvo" ili "trijada" sigurnosti.7 Prilikom zaštite informacija i podataka potrebno je kontrolisano omogućiti pristup onima kojima je dozvoljeno da ih vide, što obezbeđuje proverljivost. Integritet osigurava da podatak predstavlja svoje nameravano značenje i da nije izmenjen, slučajno ili namerno. Raspoloživost označava da se informaciji, odnosno podatku može pristupiti i da se može izmeniti od strane bilo koga ko je autorizovan da to uradi u odgovarajućem vremenskom okviru.
Dizajner Sistema je lice koje projektuje Sistem.
Dizajniranje Sistema (eng. system architecture) označava radnje projektovanja Sistema; dizajneri Sistema (eng. system architect) su lica koja projektuju Sistem.
Eksploatacija Sistema je korišćenje Sistema od strane autorizovanih korisnika.
Primena Sistema je kreiranje odgovarajućeg Sistema u skladu sa funkcionalnom i projektnom specifikacijom.
Lica za nadzor su lica ovlašćena da proveravaju ispravnost korišćenja Sistema.
Multi-klaud (eng. Multi-cloud) podrazumeva korišćenje više javnih klauda (eng. cloud).
Pouzdanost Sistema je verovatnoća, na određenom nivou poverenja, da će Sistem uspešno, bez otkaza, obaviti funkciju za koju je namenjen, unutar specificiranih granica performansi, u toku određenog vremena trajanja zadataka, kada se koristi na propisani način i u svrhu za koju je namenjen, pod definisanim nivoima opterećenja, uzimajući u obzir i prethodno vreme korišćenja sistema.
Poka-joke (eng. Poka-yoke) je izbegavanje nenamernih grešaka.
Rizik je stanje Sistema koje predstavlja posledicu neodgovarajućih mera zaštite i koji kao izvor rizičnog događaja dovodi promene kvaliteta i gubitka u Sistemu.
Sistem sa samoučenjem je Sistem koji prepoznaje obrasce u podacima nad kojima se trenira na autonoman način, bez potrebe za nadzorom.
Testiranje Sistema je faza u razvoju Sistema kojom se ispituje ispravnost i pouzdanost rada Sistema, odnosno u kojoj se otkrivaju i ispravljaju greške Sistema.
Trening podaci su podaci koji se koriste za treniranje Sistema.
Ulazni podaci su varijable, odnosno parametri koji nakon obrade Sistema daju određeni rezultat (izlazne podatke).
Ljudska intervencija (eng. human in the loop) - omogućena je intervencija u Sistemu u svim fazama odlučivanja.
Ljudski nadzor (eng. human of the loop) - omogućena je intervencija tokom razvoja i praćenja rada Sistema.
Ljudsko odlučivanje (eng. human in command) - omogućena je kontrola rada i svih aktivnosti Sistema uključujući njegov širi ekonomski, društveni, pravni i etički uticaj, a postoji i kontrola odlučivanja kada i kako koristiti Sistem što uključuje i odluku u kojim situacijama se Sistem neće koristiti.
_______
6 A definition of AI: Main capabilities and scientific disciplines, Independent High-Level Expert Group on Artificial Intelligence set up by the European Commission, 2018.
7 Vidi Bourgeois, D., (2014), Information Systems for Business and Beyond, Saylor Foundation, pp.64-65.
2.3. Visokorizični sistemi veštačke inteligencije
Visokorizični sistem je Sistem koji ima tendenciju da neposredno ili posredno krši principe i uslove utvrđene Smernicama, ali ne nužno da to i čini.
Sa aspekta Smernica, visokorizični sistemi se ne smatraju nepoželjnim, ali upravo zbog navedenog uticaja, značaja oblasti života u kojima se primenjuju i mogućnosti i dometa uticaja na čoveka i njegov integritet neophodno ih je posebno analizirati i proceniti njihov uticaj.
U smislu ovih smernica, visokorizičnim sistemom smatra se sistem koji:
- je deo sigurnosnog (bezbednosnog) sistema nekog proizvoda, ili je sam po sebi proizvod koji ima funkciju i ponaša se kao sigurnosni (bezbednosni) sistem i kao takav zahteva ocenu usklađenosti sa zakonodavnim normama o stavljanju u upotrebu sistema veštačke inteligencije, od strane trećeg lica;
- u Smernicama je pobrojan i označen kako visokorizični sistem (u daljem tekstu: lista visokorizičnih sistema).
Nije od značaja za određivanje visokorizičnih sistema to da li je Sistem u upotrebi (dovoljno je da je kao takav napravljen), kao ni to da li Sistem čini samostalan proizvod/uslugu ili sastavni deo nekog proizvoda/usluge.
Smernice se ne odnose na Sisteme koji su zabranjeni u smislu zakona kojim se regulišu sistemi veštačke inteligencije.
Visokorizičnim sistemima smatraju se sistemi veštačke inteligencije u oblastima:
- biometrijske identifikacije i kategorizacije pojedinca: naročito obuhvataju sisteme namenjene za daljinsku biometrijsku identifikaciju pojedinca u realnom vremenu kao i naknadnu daljinsku biometrijsku identifikaciju;
- upravljanja kritičnom infrastrukturom i njenim radom: naročito obuhvata sisteme koji su namenjeni za upravljanje putnim, transportnim saobraćajem, snabdevanjem vodom, gasom, grejanjem i električnom energijom ili su sigurnosni sistem navedenih sistema ili čine deo tih sigurnosnih sistema;
- obrazovanja, stručnog usavršavanja i osposobljavanja: naročito obuhvata sisteme namenjene za određivanje mogućnosti pristupa pojedincu ustanovama za obrazovanje i strukovno osposobljavanje ili za raspoređivanje pojedinaca u te ustanove, kao i sisteme koji su namenjeni za ocenjivanje lica koja pohađaju pomenute ustanove, uključujući i sisteme koji vrše ocenjivanje testova (prijemnih ispita) potrebnih za upis pojedinaca u te ustanove;
- zapošljavanja, upravljanja zaposlenim/angažovanim licima i pristupa samozapošljavanju: naročito obuhvata sisteme koji vrše odabir i zapošljavanje/angažovanje lica, uključujući i sisteme koje vrše oglašavanje slobodnih radnih mesta, pregled, filtriranje, ocenjivanje kandidata za konkretno radno mesto (na razgovorima ili testovima) donošenje krajnje odluke o zaposlenju/angažovanju lica; sisteme koji donose odluke o radno-pravnim pitanjima zaposlenih (napredovanje, nagrade, bonusi, otkazi, promena opisa radnog mesta, konkretnih zadataka zaposlenog) kao i sisteme koji vrše praćenje i evaluaciju uspešnosti zaposlenih, na temelju kojih će se doneti odluka iz radnog odnosa;8
- zdravstva: naročito obuhvata sisteme koji analiziraju genetičke i zdravstvene podatke;
- pristupa i korišćenja javnih i socijalnih usluga kao i osnovnih privatnih usluga: naročito obuhvata sisteme namenjene za ocenjivanje prihvatljivosti pojedinaca za pružanje javnih usluga i socijalnih davanja kao i donošenja odluka o odobravanju, smanjenju, ukidanju takvih usluga, kao i uslova pod kojima se takve odluke donose. Obuhvata i sisteme za ocenjivanje kreditne sposobnosti lica kao i utvrđivanje kreditne ocene, osim ukoliko se ti sistemi ne koriste za lične i nekomercijalne potrebe; obuhvata i sisteme konstruisane da funkcionišu kao dispečer službe pri službama za pružanje hitne medicinske ili druge urgentne pomoći (vatrogasci, vojska, policija, i slično), gde takvi sistemi vrše i određivanje prioriteta pružanja takve pomoći;
- krivičnog gonjenja: naročito obuhvata sisteme namenjene organima krivičnog gonjenja koji vrše procenu rizika pojedinaca za izvršenje ili ponovno izvršenje krivičnih dela na osnovu osobina, karakteristika ili prethodnog kriminalnog ponašanja; sisteme koji bi se koristili kao poligrafska sredstva ili sredstva za otkrivanje emocionalnog stanja pojedinca; sisteme koji bi se koristili za ocenu verodostojnosti dokaza tokom predistražnog, istražnog i sudskog postupka; sisteme koji bi se koristili za procenu pojedinca; sisteme namenjene za analitiku krivičnih dela koji se odnose na pojedince i koji omogućavaju pretraživanje složenih povezanih i nepovezanih velikih skupova podataka iz različitih izvora ili u različitim formatima s ciljem uočavanja nepoznatih uzoraka u podacima ili skrivenih veza među podacima;
- upravljanja migracijama ljudi, azilom i nadzora državne granice: naročito obuhvata sisteme koji bi se koristili kao poligrafska sredstva ili sredstva za otkrivanje emocionalnog stanja pojedinca; sisteme namenjene nadležnim organima/institucijama za procenu rizika (uključujući rizik za sigurnost, rizik od nezakonitih imigracija ili rizik za zdravlje) koji predstavlja pojedinac koji namerava da uđe ili je ušao na teritoriju države Republike Srbije; sisteme namenjene nadležnim organima/institucijama za proveru verodostojnosti putnih isprava, naročito kroz proveru sigurnosnih obeležja tih isprava; sisteme namenjene za pomoć nadležnim organima/institucijama pri razmatranju zahteva za azil, vize, boravišne i radne dozvole i s njima povezanim procesima (povezani procesi obuhvataju proveru krivične i prekršajne osuđivanosti, postojanje i vrstu pritužbi datih u vezi s predmetnim zahtevima i sl.), a u cilju donošenja odluka u vezi sa predmetnim zahtevima;
- pravosuđa i demokratskih procesa: naročito obuhvata sisteme namenjene za pomoć pravosudnim organima u analizi i tumačenju okolnosti, činjenica, i pravnih normi, a u cilju primene odgovarajućih pravnih normi na konkretan skup okolnosti, činjenica.
Listi visokorizičnih sistema pripadaju i sistemi za preporuke vođeni veštačkom inteligencijom na platformama koje koristi veliki broj ljudi, kao što su društvene mreže; na osnovu različitih podataka i postavljenih ciljeva donose odluke koji sadržaj se predstavlja pojedincu ili grupi, što na nivou pojedinca može uticati na pažnju, želje, mišljenja, opredeljenja, kreativnost, maštu, osećanja, odluke i aktivnosti, ili, na nivou društva može doprineti kreiranju društvenih mehura, odnosno polarizaciji oko bitnih društvenih pitanja, i, u finalnoj instanci, uticati na demokratski kapacitet kao i sistemi koji podrazumevaju obradu podataka o ličnosti a koje koriste državni organi i organizacije, organi i organizacije pokrajinske autonomije, organi i organizacije jedinica lokalne samouprave, ustanove, javna preduzeća prilikom donošenja odluka u obavljanju poslova iz svoje nadležnosti.
Lista nije konačna. Razvoj veštačke inteligencije nameće potrebu da ta lista bude otvorena i tumačena kao pregled reprezentativnih primera visokorizičnih sistema koja se može menjati i dopunjavati.9
______
8 Ova odredba se ne ograničava samo na angažovanje lica kroz radni odnos, već i druge oblike angažovanja lica (radne snage) i primanje tog lica u rad (ugovor o delu, ugovor o privremeno-povremenim poslovima i slično, u skladu sa zakonom kojim se reguliše angažovanje lica za rad), gde to angažovanje uključuje selekcioni proces i sam proces održavanja tog odnosa (evaluacija, nagrađivanje, sankcionisanje, prestanak tog odnosa i slično).
9 Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative acts.
2.4. Zaštita podataka o ličnosti
Podatak o ličnosti je svaki podatak koji se odnosi na fizičko lice čiji je identitet određen ili odrediv, neposredno ili posredno, posebno na osnovu oznake identiteta, kao što je ime i identifikacioni broj, podataka o lokaciji, identifikatora u elektronskim komunikacionim mrežama ili jednog, odnosno više obeležja njegovog fizičkog, fiziološkog, genetskog, mentalnog, ekonomskog, kulturnog i društvenog identiteta.
Obrada posebnih vrsta podataka o ličnosti je obrada kojom se otkriva rasno ili etničko poreklo, političko mišljenje, versko ili filozofsko uverenje ili članstvo u sindikatu, kao i obrada genetskih podataka, biometrijskih podataka u cilju jedinstvene identifikacije lica, podataka o zdravstvenom stanju ili podataka o seksualnom životu ili seksualnoj orijentaciji fizičkog lica.
Procena uticaja obrade na zaštitu podataka o ličnosti sprovodi se pre otpočinjanja obrade, ako je verovatno da će određena vrsta obrade, posebno upotrebom novih tehnologija i uzimajući u obzir prirodu, obim, okolnosti i svrhu obrade, prouzrokovati visok rizik za prava i slobode fizičkih lica. Procenu uticaja obrade neophodno je sprovesti u slučaju: 1) sistematske i sveobuhvatne procene stanja i osobina fizičkog lica koja se vrši pomoću automatizovane obrade podataka o ličnosti, uključujući i profilisanje, na osnovu koje se donose odluke od značaja za pravni položaj pojedinca, ili na sličan način značajno utiču na njega; 2) obrade posebnih vrsta podataka o ličnosti ili podataka o ličnosti u vezi s krivičnim presudama i kažnjivim delima, u velikom obimu; 3) sistematskog nadzora nad javno dostupnim površinama u velikoj meri. Lista vrsta radnji obrade za koje se mora izvršiti procena uticaja utvrđena je Odlukom koju je doneo Poverenik za informacije od javnog značaja i zaštitu podataka o ličnosti.
Lice za zaštitu podataka o ličnosti je lice koje, saglasno Zakonu o zaštiti podataka o ličnosti, obavlja odgovarajuće poslove i zadatke. Obaveza određivanja ovog lica postoji u slučaju da se: 1) obrada vrši od strane organa vlasti, osim ako se ne radi o obradi koju vrši sud u svrhu obavljanja njegovih sudskih ovlašćenja; 2) osnovne aktivnosti rukovaoca/obrađivača sastoje od radnji obrade koje po svojoj prirodi, obimu, odnosno svrhama zahtevaju redovan i sistematski nadzor velikog broja lica na koje se podaci odnose; 3) osnovne aktivnosti rukovaoca/obrađivača sastoje od obrade posebnih vrsta podataka o ličnosti ili podataka o ličnosti u vezi s krivičnim presudama i kažnjivim delima, u velikom obimu.
Ne umanjujući značaj drugih shvatanja i principa, izdvojena su sledeća načela koja su prepoznata kao polazna osnova za stvaranje, primenu i upotrebu Sistema veštačke inteligencije koji će svojom pouzdanošću i odgovornošću prema čoveku biti dostojni ljudskog poverenja:
3.1. Objašnjivost i proverljivost
Jedna od osnovnih osobina ljudske svesti je da percipira okruženje, traži odgovore na pitanja odnosno objašnjenja zašto i kako nešto jeste ili nije. Ta osobina uticala je na evoluciju čoveka i razvoj nauke, pa samim tim i veštačke inteligencije. Potreba čoveka da razume i da mu stvari budu jasne našla je svoje uporište u ovom načelu.
Objašnjivost u kontekstu ovih smernica znači da svi procesi: razvoj, testiranje, puštanje u rad, nadzor nad radom sistema i njegovo gašenje, moraju biti transparentni. Svrha i mogućnosti samog sistema veštačke inteligencije moraju biti objašnjive, a naročito odluke (preporuke) koje donosi (u meri kojoj je to celishodno) svima na koje Sistem utiče (direktno ili indirektno). Ako određene rezultate rada Sistema nije moguće objasniti, neophodno ih je označiti kao sistem s modelom "crne kutije".10
Proverljivost je komplementarni element ovog načela kojim se obezbeđuje da se Sistem može proveravati u svim procesima, odnosno tokom celog životnog ciklusa. Proverljivost uključuje radnje i postupke provere sistema veštačke inteligencije prilikom testiranja i primene, kao i proveru kratkoročnog i dugoročnog uticaja koji takav sistem ima na čoveka.
________
10 Sistem s modelom "Crne kutije" obuhvata različite definicije, međutim sve se koncentrišu na jednu stvar. U pitanju su sistemi veštačke inteligencije koji u osnovi imaju model koji se kreira direktno iz podataka uz pomoć razvijenog algoritma, što znači da lica koja su ih dizajnirala ne mogu da razumeju kako se varijable tog modela kombinuju da bi se napravila određena predviđanja, odnosno sistem ne ukazuje kako je do tog podatka/rezultata došao. Čak i ako neko ima listu ulaznih varijabli, prediktivni modeli crne kutije mogu biti tako komplikovane funkcije varijabli da se ne može utvrditi kako su varijable povezane jedna s drugom da bi se došlo do konačnog predviđanja. Neki ih čak tumače i kao pojam koji označava modele koji su dovoljno složeni da ih čovek ne može protumačiti.
Dužnost svih članova društva jeste da ovo pravo međusobno poštuju i štite kao jedno od osnovnih i neprikosnovenih prava svakog čoveka. Svaki pojedinac ima pravo na zaštitu sopstvenog dostojanstva; kršenje ili nepoštovanje ovog prava zakonom se sankcioniše.
Ljudsko dostojanstvo (dalje: dostojanstvo) treba razumeti kao polazni princip (načelo) koje u fokusu ima očuvanje čovekovog integriteta. Polazeći od te premise, lica na koja se ove Smernice odnose treba u svakom trenutku, bez obzira na fazu u kojoj se konkretno rešenje veštačke inteligencije nalazi (razvoj, primena ili upotreba) da imaju na umu čoveka i njegov integritet kao centralni pojam. S tim u vezi, neophodno je razvijati sisteme kojima se u svakoj fazi kao imperativ postavljaju poštovanje čovekove ličnosti, njegove slobode i autonomije.
Poštovanje čovekove ličnosti podrazumeva stvaranje sistema koji će poštovati kognitivne, socijalne i kulturne karakteristike svakog pojedinca. Sistemi veštačke inteligencije koji se razvijaju moraju biti u skladu s navedenim, stoga je neophodno voditi računa da oni ni na koji način ne mogu dovesti do podređivanja čoveka funkcijama sistema, kao ni ugrožavanja njegovog dostojanstva i integriteta.
U cilju obezbeđivanja poštovanja načela dostojanstva, sistemi veštačke inteligencije ne smeju biti takvi da u procesima rada i primene grubo zanemaruju autonomnost ljudskog izbora.
Ustav Republike Srbije naglašava da je dostojanstvo "neprikosnoveno i svu su dužni da ga poštuju i štite. Svako ima pravo na slobodan razvoj ličnosti, ako time ne krši prava drugih zajemčena Ustavom."11
Konvencija o ljudskim pravima navodi sledeće: "Ljudsko dostojanstvo (dostojanstvo) nije samo osnovno ljudsko pravo već i osnova ljudskih prava. Ljudsko dostojanstvo je urođeno svakom čoveku."12
U Republici Srbiji ovaj pojam je uređen na sledeće načine:
- "Dostojanstvo ličnosti (čast, ugled, odnosno pijetet) lica na koje se odnosi informacija pravno je zaštićeno."13
- "Ko zlostavlja drugog ili prema njemu postupa na način kojim se vređa ljudsko dostojanstvo, kazniće se zatvorom do jedne godine."14
- "Rad u javnom interesu je svaki onaj društveno koristan rad kojim se ne vređa ljudsko dostojanstvo i koji se ne vrši u cilju sticanja dobiti."15
Ovim načelom naglašava se da se u svakom trenutku mora brinuti o integritetu i dostojanstvu svih na koje Sistem veštačke inteligencije može uticati. Kako je u pitanju opšti pojam, kojem život, pored zakona daje različita naličja, mada je suština ista, primereno je za sam pojam vezati: čast, ugled, odnosno pijetet.
________
11 Ustav Republike Srbije, "Službeni glasnik RS", br. 98/2006 i 115/2021.
12 Konvencija o ljudskim pravima.
13 Zakon o javnom informisanju i medijima, "Službeni glasnik RS", br. 83/2014… aut. tumačenje - 12/2016.
14 Krivični zakonik, "Službeni glasnik RS", br. 85/2005, 88/2005 - ispr.,… i 35/2019.
15 Ibidem.
Sistem veštačke inteligencije mora biti usaglašen sa standardima bezbednosti, odnosno mora da sadrži odgovarajuće mehanizme koji će sprečiti nastanak štete licima i njihovoj imovini. U slučaju da do štete ipak dođe, ona mora biti sanirana u najkraćem mogućem roku, a oštećeno lice na zakonom utvrđen način obeštećeno.
Zakon o obligacionim odnosima uređuje pojam štete kao "umanjenje nečije imovine (obična šteta) i sprečavanje njenog povećanja (izmakla korist), kao i nanošenje drugome fizičkog ili psihičkog bola ili straha (nematerijalna šteta)16 i utvrđuje da je svako lice dužno da se uzdrži od postupaka kojim se može drugom prouzrokovati šteta.17
Pored građanske odgovornosti zakon prepoznaje i krivičnu i prekršajnu odgovornost kako fizičkih tako i pravnih lica za štetu koju pričine drugom licu.
Krivični zakonik18 predviđa veliki broj krivičnih dela, od kojih je značajno navesti krivična dela protiv života i tela, imovine ljudi, protiv sloboda i prava čoveka i građanina. Posebnim zakonom predviđena je i odgovornost lica za štetu koju pričine izvršenjem dela manje društvene opasnosti - prekršaja.19
Posebnu pažnju trebalo bi posvetiti zaštiti osetljivih kategorija kao što su stariji, osobe sa invaliditetom, deca, trudnice i dr, kao i kategorijama koje su u nepovoljnijem položaju (na primer: radnik - poslodavac, potrošač - privredni subjekat, i dr.).
Sistemi veštačke inteligencije moraju da se koriste na siguran i bezbedan način, odnosno moraju biti pouzdani i bezbedni, i treba sprečiti njihovu upotrebu u maliciozne svrhe.
________
16 Zakon o obligacionim odnosima, "Službeni glasnik RS", br. 29/78, 39/85, 45/89 - odluka USJ …. i br. 18/2020.
17 Ibidem.
18 Krivični zakonik, "Službeni glasnik RS", br. 85/2005, 88/2005 - ispr. 121/2012,… i 35/2019.
19 Zakon o prekršajima, "Službeni glasnik RS", br. 65/2013… 91/2019 i dr. zakon.
Načelo pravičnosti odnosi se na zaštitu prava i integriteta od diskriminacije, posebno diskriminacije naročito osetljivih kategorija (na primer osoba sa invaliditetom). Sam termin zbog svoje višestranosti, ima različita tumačenja u brojnim sferama društvenog života. Na primer, u zdravstvenoj zaštiti20 načelo pravičnosti podrazumeva zabranu diskriminacije u pružanju zdravstvene zaštite po osnovu rase, pola, roda, seksualne orijentacije i rodnog identiteta, starosti, nacionalne pripadnosti, socijalnog porekla, veroispovesti, političkog ili drugog ubeđenja, imovnog stanja, kulture, jezika, zdravstvenog stanja, vrste bolesti, psihičkog ili telesnog invaliditeta, kao i drugog ličnog svojstva koje može biti uzrok diskriminacije. Tako i sistemi veštačke inteligencije moraju, prilikom korišćenja sprečiti diskriminaciju.
Načelo pravičnosti ima svoju stvarnu (eng. substantive) i proceduralnu dimenziju. Stvarna dimenzija podrazumeva zaštitu od neopravdane pristrasnosti, diskriminacije i stigmatizacije. Sistemi veštačke inteligencije trebalo bi da pruže jednake mogućnosti svim licima, kako u pogledu pristupa obrazovanju, dobrima tako i uslugama i tehnologijama, tako i da spreče obmane lica koja koriste sisteme veštačke inteligencije, prilikom donošenja odluka. Proceduralna dimenzija pravičnosti uključuje mogućnost osporavanja i uključivanja efikasne pravne zaštite protiv odluka koje su rezultat rada Sistema veštačke inteligencije kao i lica odgovornih za rad Sistema. U cilju ispunjenja ovog uslova, neophodno je da postoje jasno utvrđene odgovornosti, kao i da proces donošenja odluka bude objašnjen, jasan i transparentan. Time se smanjuje mogućnost pogrešnog ili nepotpunog razumevanja svrhe i ciljeva korišćenja ovih sistema, odnosno potencijalnog uskraćivanja slobode izbora pri odabiru sistema koji će koristiti. Pravična upotreba Sistema veštačke inteligencije može dovesti do povećanja pravičnosti u društvu u celini, kao i do smanjenja razlika koje postoje među pojedincima u pogledu socijalnog, ekonomskog i obrazovnog statusa.
______
20 Zakon o zdravstvenoj zaštiti, "Službeni glasnik RS", br. 25/2019-40.
4. USLOVI POUZDANE I ODGOVORNE VEŠTAČKE INTELIGENCIJE
Izgradnja i stvaranje pouzdane i odgovorne veštačke inteligencije zahtevaju ispunjenje određenih Uslova21 koji se temelje na Načelima utvrđenim ovim Smernicama, a koja se određuju kroz:
1. Delovanje (posredovanje, kontrola, učešće) i nadzor;
2. Tehničku pouzdanost i bezbednost;
3. Privatnost, zaštitu podataka o ličnosti i upravljanje podacima;
4. Transparentnost;
5. Različitost, nediskriminaciju i ravnopravnost;
6. Društveno i ekološko blagostanje;
7. Odgovornost.
Uslove čine proverljivi parametri, odnosno tehničke i netehničke metode, kojima se potvrđuje i dokazuje ispunjenost Načela.
Cilj tehničkih metoda je da usmere razvoj, primenu pa i korišćenje Sistema veštačke inteligencije na način da se Sistemi veštačke inteligencije ponašaju pouzdano, svodeći na minimum potencijalne nenamerne i nepredvidive štete po čoveka i društvo u celini. Tehničke metode su prikazane u formi preporuka.
Netehničke metode odnose se na ispitivanje organizacionih i drugih netehničkih elemenata značajnih za razvoj i korišćenje sistema veštačke inteligencije. Ove metode date su u formi upitnika koji je namenjen ocenjivanju pojedinačnih sistema veštačke inteligencije u smislu ispunjenosti osnovnih načela, odnosno uslova sadržanih u Smernicama. Svrha upitnika jeste utvrđivanje pouzdanosti i odgovornosti sistema veštačke inteligencije sa aspekta etičkih standarda.
Upitnik pruža podršku licima, odnosno organizacijama koje razvijaju, stavljaju na tržište, nabavljaju, primenjuju i/ili koriste sisteme veštačke inteligencije da procene usklađenost s navedenim Uslovima. Upitnik je pogodan za upotrebu u svim društveno-ekonomskim oblastima i predstavlja minimalni horizontalni okvir za uspostavljanje bezbednih sistema veštačke inteligencije u Republici Srbiji. Upitnik može biti prilagođen posebnim oblastima i sektorima. Radi informisanja o uslovima koje Sistem mora da ispuni da bi bio ocenjen kao etički pouzdan i odgovoran, listu pitanja iz upitnika poželjno je proučiti i pre izrade samog Sistema, već u samoj fazi planiranja početka rada na razvoju sistema. Preporuka je da se Upitnik popuni u najranijim fazama izrade Sistema, u beta fazi, ali i u svim kasnijim etapama kako bi bio kontinuirano praćen tokom celog životnog ciklusa.
U najširem smislu, Upitnik o proceni sistema veštačke inteligencije doprinosi unapređenju informisanosti i kulture razvoja pouzdanog i odgovornog ekosistema veštačke inteligencije u Republici Srbiji. Njegovom upotrebom podiže se društvena svest o važnosti ispunjavanja određenih zahteva sistema veštačke inteligencije. Istovremeno, primena Upitnika doprinosi unapređenju transparentnosti i jačanju poverenja društva u održive sisteme koji ispunjavaju standarde. Upitnik o proceni sistema veštačke inteligencije pomaže licima i/ili organizacijama da identifikuju područja za unapređenje i podstiče ih da preduzimaju mere za prevazilaženje uočenih izazova. Popunjavanjem Upitnika dobija se uvid u uspostavljene mere i identifikuju se mere koje bi tek trebalo primeniti u svrhu izgradnje pouzdanog sistema veštačke inteligencije, tako da Upitnik predstavlja i važan alat za razvoj inovativnih rešenja u oblasti veštačke inteligencije.
Sam Upitnik ne isključuje primenu drugih alata i metoda za ocenu ispunjenosti uslova Sistema u smislu usvojenih Smernica i/ili zakona. Upitnik nije vodič kroz pravni sistem RS i njegovo popunjavanje ne oslobađa od zakonskih obaveza i odgovornosti.
_______
21 Uslovi su definisani kroz princip "otvorene liste"; Smernice ne ograničavaju primenu i drugih uslova koji se mogu primeniti sa aspekta etičkih principa, a sve u cilju razvoja, primene i upotrebe pouzdane i odgovorne veštačke inteligencije.
Sistem veštačke inteligencije bi trebalo da bude pouzdana podrška u procesu donošenja odluka i predmet kontinuiranog nadzora i kontrole od strane čoveka. U okviru ove grupe, ispituje se uticaj Sistema na donošenje odluka i delovanje čoveka, odnosno podrška u odlučivanju, kao i analizi i predviđanju rizika (Sistemi preporuka, prediktivnog nadzora, analize finansijskog rizika i sl). Ispituju se i percepcija i očekivanje: lica koja razvijaju ili održavaju sistem, lica koja koriste sistem i lica na koje sistem utiče od sistema veštačke inteligencije, kao i njihovu naklonost, poverenje i (ne)zavisnost pri donošenju odluka.
4.1.1. Upitnik
Delovanje
- Da li je sistem veštačke inteligencije dizajniran da:
o komunicira (je u interakciji)
o utiče na odluke (daje preporuku)
o donosi odluke
- Da li je lice koje koristi i/ili lice na koje sistem veštačke inteligencije utiče svesno da je u interakciji sa sistemom?
o Da, i to: (na način)
o Ne
- Da li je lice koje koristi i/ili lice na koje sistem veštačke inteligencije utiče obavešteno da je odluka, sadržaj, savet ili ishod rezultat algoritamske odluke?
o Da, i to: (na način)
o Ne
- U kojoj meri sistem veštačke inteligencije može da utiče na autonomiju ličnosti pri donošenju odluka?
o U potpunosti utiče
o Značajno utiče
o Delimično utiče
o Minimalno utiče
o Ne utiče
- Da li su uspostavljene procedure kojima se licu koje koristi sistem veštačke inteligencije onemogućava da se, pri donošenju odluka, oslanja isključivo na sistem veštačke inteligencije?
o Da, i to:
o Ne
- Da li postoji procedura kojom se sprečava da sistem veštačke inteligencije nenamerno (samostalnim učenjem) utiče na autonomiju ličnosti?
o Da, i to:
o Ne
- Da li postoji procedura kojom se sprečavaju moguće negativne posledice po lica koja koriste kao i lica na koje sistem utiče ako razviju zavisnost od sistema veštačke inteligencije?
o Da, i to:
o Ne
- Da li su preduzete mere za smanjenje rizika od zavisnosti lica koja koriste kao i lica na koje sistem utiče od korišćenja sistema veštačke inteligencije?
o Da, i to:
o Ne
Kontrola. U ovom odeljku vrši se samoprocena uvedenih kontrolnih mera kroz mehanizme upravljanja, i to:
1. Human-in-the-loop (HITL) - omogućena je intervencija u svim fazama odlučivanja
2. Human-on-the-loop (HOTL) - omogućena je intervencija tokom razvoja i nadgledanja rada sistema veštačke inteligencije
3. Human-in-command (HIC) - omogućena je kontrola rada sistema veštačke inteligencije uključujući širi ekonomski, društveni, pravni i etički uticaj, kao i kontrola odlučivanja kada i kako koristiti sistem, što podrazumeva da se sistem veštačke inteligencije ne koristi u određenoj situaciji.
- Da li je sistem veštačke inteligencije:
o sistem bez nadzora
o HITL sistem u kojem je omogućena intervencija u svakom ciklusu odlučivanja
o HOTL sistem u kojem je omogućena intervencija tokom projektovanja i nadgledanja rada sistema veštačke inteligencije
o HIC sistem u kojem je omogućena kontrola svih aktivnosti sistema
- Da li su lica koja vrše kontrolu obučena za te poslove?
o Da
o Ne
- Da li su uspostavljeni mehanizmi otkrivanja i reagovanja na neželjene štetne efekte sistema veštačke inteligencije?
o Da, i to:
o Ne
- Da li postoji "dugme za zaustavljanje" ili procedura za bezbedno prekidanje operacije kada je to potrebno?
o Da, postoji:
o Ne
- Da li su razvijene posebne kontrolne mere za evidentiranje samoučenja ili autonomne prirode sistema?
o Da, i to:
o Ne
4.1.2. Preporuke
Prilikom dizajniranja sistema veštačke inteligencije potrebno je uzeti u obzir sve korisnike i scenarija obrade podataka uz kompletan opseg varijabilnosti i specifičnosti obrade podataka o ličnosti. Prilikom razvoja Sistema potrebno je dokumentovati:
- mogućnosti i funkcionalnosti Sistema;
- scenarije korišćenja;
- operativne fakture i konfiguracije koje doprinose pouzdanom i odgovornom korišćenju Sistema;
- ograničenja;
- segmente unutar kojih Sistem nije dizajniran za upotrebu;
- prikaz tačnosti i pravilnog rada Sistema i opis do koje mere se takvi rezultati mogu očekivati za generalizovano korišćenje za scenarije koji nisu inicijalno uzeti u obzir;
- granice do kojih je očekivan dalji razvoj Sistema bez direktnog uticaja čoveka.
Preporuka je da se:
1. Uspostavi tehnička dokumentacija koja precizno objašnjava dizajn Sistema, podsistema i komponenti, uključujući mehanizme za praćenje i nadzor funkcionisanja Sistema.
2. Dizajnira takav Sistem koji omogućava praćenje i nadzor njegovog funkcionisanja kao i retrospektivnu analizu rezultata obrade u odnosu na ulazne podatke.
3. Kod Sistema koji uključuje interakciju s licima koja primenjuju i/ili koriste Sistem, a koji može ponuditi više od jednog rezultata obrade s različitim verovatnoćama, potrebno je omogućiti izbor jednog od rezultata obrade.
4. U proces planiranja, dizajna i razvoja sistema uključi detekcija negativnih ili uzgrednih efekata po pitanju jednakosti i ljudskih prava kao i mogućnost nadzora i retrospektivne analize funkcionisanja Sistema.
5. Identifikuje i dokumentuje više vrsta metoda za procenu ispravnosti funkcionisanja Sistema. Različiti načini procenjivanja doprinose efikasnijoj identifikaciji anomalija u funkcionisanju Sistema.
6. Analiziraju i od strane dizajnera Sistema u potpunosti razumeju izvorni podaci na osnovu kojih se vrši trening algoritma Sistema, kako bi se utvrdilo da li izvorni podaci zaista predstavljaju opseg varijabilnosti za sve korisnike ili uže grupe korisnika. Skup podataka na kome se trenira model Sistema treba da bude reprezentativan, u smislu da predstavlja vernu sliku realnog Sistema koji se modelira.
7. Identifikuju lica koja su zadužena da reaguju u slučaju problema u funkcionisanju Sistema, koja nadgledaju i kontrolišu rad Sistema od faze razvoja, preko testiranja i faze učenja (treninga) do pune eksploatacije, odnosno svakodnevnog rada Sistema. Potrebno je ta lica evidentirati i definisati njihova zaduženja, kao i način njihovog izbora lica, njihovu obuku, proveru postupanja kao i kapaciteta tokom vremena, budući da je potencijalni scenario da Sistem kroz proces učenja protokom vremena svojim mogućnostima prevaziđe kapacitete lica za nadzor.
8. Identifikuju elementi Sistema, korisnički alati i alati za izveštavanje, koje bi lica iz tačke 7. trebalo da poznaju, uključujući i mogućnost razumevanja izlaznih rezultata Sistema na osnovu kojih mogu preduzeti određene radnje (na primer: gašenje Sistema).
9. Uspostave i dokumentuju kriterijumi za puštanje Sistema u fazu primene koji moraju da sadrže metriku i granične vrednosti. U slučaju da izveštaj o proceni pokaže vrednosti koje prelaze granične vrednosti, potrebno je definisati i dokumentovati pristup i plan kako da se reše identifikovani problemi.
Ukoliko lica zadužena za nadzor Sistema uoče određene anomalije u ponašanju Sistema koje bi protokom vremena mogle dovesti do neželjenog stanja Sistema opisanog u prethodnoj tački, mogu, na osnovu svog diskrecionog prava, Sistem privremeno staviti van funkcije u ograničenom vremenskom periodu, uz detaljno obrazloženje svih razloga za takvo postupanje. Ovakva odluka podleže reviziji šireg tima koji je učestvovao u kreiranju Sistema, ili za to nadležne komisije.
4.2. Tehnička pouzdanost i bezbednost
Ključni uslov za postizanje pouzdanih sistema veštačke inteligencije je njihova pouzdanost i bezbednost. Tehnička pouzdanost zahteva da se Sistemi razvijaju uz preventivnu procenu rizika, kao i da se ponašaju pouzdano i kako je predviđeno, uz svođenje na minimum potencijalne nenamerne i nepredvidive štete.
4.2.1. Upitnik
Pitanja u ovom delu odnose se na četiri glavna pitanja: 1) zaštitu od pretnji i zloupotreba; 2) bezbednost; 3) tačnost i preciznost; i 4) pouzdanost, rezervne planove i ponovljivost.
Zaštita od pretnji (napada) i zloupotreba
- Da li sistem veštačke inteligencije pripada informaciono-komunikacionoj (IKT) infrastrukturi od posebnog značaja?
o Da
o Ne
- Da li je sistem veštačke inteligencije sertifikovan u skladu sa standardima u oblasti informacione bezbednosti (npr. ISO 27000 i dr.) ili je usklađen sa ovim standardima?
o Da, sertifikovan je po standardu … (navesti kojem)
o Da, usklađen je sa standardom … (navesti kojem)
o Nije izvršena provera ispunjenosti uslova propisanih standardima u oblasti informacione bezbednosti
- Da li su prepoznati potencijalni oblici pretnji (napada) na koje bi sistem veštačke inteligencije mogao biti ranjiv?
o Da, i to: (navesti koji su, npr. defekti u dizajnu, tehničke greške…)
o Ne postoje rizici od napada
- Da li su uzete u obzir različite vrste ranjivosti i potencijalne ulazne tačke napada, i to (označiti ako su uzete u obzir):
o Manipulacija podacima
o Modifikovanje modela klasifikacije podataka
o Inverzni inženjering modela (otkrivanje parametara modela)
o Drugo:
- Da li su preduzete mere i koje, u obezbeđivanju integriteta i zaštite sistema veštačke inteligencije od potencijalnih napada tokom njegovog životnog ciklusa?
o Da, u fazi analize preduzete su mere:
o Da, u fazi razvoja preduzete su mere:
o Da, u fazi testiranja preduzete su mere:
o Da, u fazi primene preduzete su mere:
o Da, u fazi gašenja preduzete su mere:
o Nisu preduzete posebne mere
- Da li je izvršeno testiranje neovlašćenog pristupa Sistemu (npr. penetraciono testiranje)?
o Da, korišćen je alat:
o Da, pojedinih delova Sistema i to:
o Ne
- Koja softverska rešenja koristite za zaštitu od napada na sistem veštačke inteligencije?
o Koristi se:
o Ne postoji posebna zaštita ovog Sistema
- Koji je vremenski period u kome je obezbeđeno ažuriranje sistema veštačke inteligencije koje će otklanjati otkrivene bezbednosne propuste?
o Nije obezbeđeno ažuriranje Sistema
o Do godinu dana
o Do pet godina
o Ugovorom će se obezbediti kontinuirana zaštita Sistema
Bezbednost
- Da li su definisani rizici, metrike rizika i nivoi rizika sistema veštačke inteligencije?
o Da, i to: (navesti rizike)
o Ne
- Da li je uspostavljen proces za kontinuirano merenje i procenu rizika?
o Da, procena se vrši kontinuirano
o Da, procena se vrši najmanje jednom godišnje
o Da, procena se vrši pre svakog unapređenja Sistema
o Ne
- Da li su krajnji korisnici i subjekti obavešteni o postojećim ili potencijalnim rizicima?
o Da, obavešteni su (navesti na koji način)
o Ne
- Da li su identifikovane moguće posledice napada (incidenata)?
o Da, i to: (navesti posledice)
o Ne
- Da li je izvršena procena uticaja stabilnosti i pouzdanosti Sistema na donošenje odluka (rizik od kompromitovanja podataka i algoritama)?
o Da, i to: (navesti procenu)
o Ne
- Da li je testiranje Sistema usklađeno sa odgovarajućim nivoima stabilnosti i pouzdanosti?
o Da, i to: (navesti procenu)
o Ne
- Da li je planirana tolerancija greške?
o Da, koristi se drugi sistem veštačke inteligencije
o Da, koristi se drugi sistem koji nije zasnovan na veštačkoj inteligenciji
o Ne
- Da li je razvijen mehanizam za procenu promena u radu sistema veštačke inteligencije kako bi se ispitale njegova stabilnost, pouzdanost i sigurnost?
o Da, postoje obaveštenja kada se dogodi bilo koja promena u načinu rada
o Da, koristi se (navesti šta)
o Ne
Tačnost i preciznost
- Koje su mere preduzete kako bi se osiguralo da podaci koji se koriste za razvoj sistema veštačke inteligencije budu tačni, ažurni, potpuni i reprezentativni?
o Mere koje su preduzete su:
o Nisu preduzete posebne mere
- Kako se vrši praćenje i dokumentovanje preciznosti sistema veštačke inteligencije?
o Vrši se: (navesti kako)
o Ne prati se tačnost sistema
- Da li je urađena statistička analiza i da li su mogući scenariji ili moguće kategorije klasifikacije ravnomerno ili adekvatno zastupljene?
o Da, i to:
o Ne
- Da li se o nivou preciznosti, odziva i tačnosti sistema veštačke inteligencije obaveštavaju krajnji korisnici i/ili subjekti?
o Da, i to: (navesti na koji način)
o Ne
Pouzdanost, rezervni planovi i ponovljivost
- Da li sistem veštačke inteligencije može da izazove kritične, suprotstavljene ili štetne posledice u slučaju niske pouzdanosti i/ili ponovljivosti rezultata rada sistema?
o Sistem je pouzdan jer je izvršeno:
o Nije ispitano da li sistem može da izazove štetne posledice
- Da li se meri svrsishodnost sistema veštačke inteligencije (odgovara definisanoj svrsi)?
o Da, na način:
o Ne, zato što:
- Da li od specifičnog konteksta i uslova zavisi ponovljivost rezultata rada sistema veštačke inteligencije?
o Da, od:
o Ne
- Da li se vrše verifikacija i validacija pouzdanosti i ponovljivosti sistema veštačke inteligencije?
o Da, na način:
o Ne
- Da li se dokumentuje proces testiranja i verifikacije pouzdanosti i ponovljivosti sistema veštačke inteligencije?
o Da, na način:
o Ne
- Da li postoji plan za ispravljanje grešaka u sistemu veštačke inteligencije?
o Da
o Ne
- Da li postoji procedura za postupanje u slučajevima u kojima sistem veštačke inteligencije daje rezultate s niskim rezultatom poverenja?
o Da (navesti):
o Ne
- Da li sistem veštačke inteligencije koristi kontinuirano učenje?
o Da
o Ne
- Da li su uzete u obzir potencijalne negativne posledice učenja sistema veštačke inteligencije koje mogu da utiču na rezultat?
o Da, prati se učenje sistema i vrše se odgovarajuće korekcije
o Ne
4.2.2. Preporuke
Tehnička pouzdanost
Kako bi se osigurale pouzdanost i bezbednost sistema veštačke inteligencije, pre svega treba pratiti generalne preporuke za razvoj softverskih rešenja. Uz njih, potrebno je uvesti niz metoda koje su specifične za sisteme zasnovane na mašinskom učenju ili drugim metodima razvoja sistema veštačke inteligencije.
1. Identifikovati više metrika za procenu kvaliteta treninga i nadzor
Korišćenje više metrika, umesto jedne, pomaže razumevanju odnosa među različitim tipovima greške i iskustva korisnika:
- Razmotriti metrike poput prikupljanja mišljenja korisnika anketiranjem, vrednosti koje mere performanse Sistema na nivou celog sistema, kao i kratkoročnu i dugoročnu valjanost, na primer, stopu kliktanja (eng. clickthrough rate) ili životnu vrednost potrošača (eng. customer lifetime value), kao i stopu lažno pozitivnih i lažno negativnih rezultata, razloženu po podgrupama (kategorijama).
- Obezbediti relevantnost metrike, na primer: sistem za detekciju požara bi trebalo da ima visoku stopu prepoznavanja, čak i ako će to dovesti do povremene lažne uzbune.
2. Kad god je moguće ispitati ulazne podatke
Sistemi mašinskog učenja oslikavaju podatke na kojima su trenirani, te je neophodno analizirati i prilagoditi ulazne podatke, kako bi se obezbedio dovoljan nivo njihovog razumevanja. Kada to nije moguće (kod naročito osetljivih podataka), potrebno je analizirati ulazne podatke izračunavanjem agregiranih, anonimiziranih grupnih vrednosti i statistika. Ispitati:
- Da li podaci sadrže greške (između ostalog: nedostajuće vrednosti, pogrešne oznake) kako bi se utvrdio kvalitet podataka?
- Da li su podaci uzorkovani tako da dobro predstavljaju korisnike Sistema (npr.: Sistem će se koristiti za sve starosne grupe, ali se podaci za trening odnose samo na penzionere) i realan scenario primene (na primer: Sistem će se koristiti cele godine, ali je treniran samo na podacima prikupljenim tokom leta)? Da li su podaci tačni?
- Da li postoje razlike u performansama Sistema tokom treninga i primene? Tokom treninga identifikovati potencijalna pomeranja koja se moraju eliminisati, uključujući izmene u skupu podataka za trening i/ili ciljnoj funkciji (eng. objectivefunction). Tokom evaluacije Sistema, obezbediti podatke za evaluaciju koji što bolje oslikavaju scenario primene.
- Da li su neka obeležja u modelu suvišna ili nepotrebna? Koristiti najjednostavniji model koji zadovoljava u pogledu performansi.
- Za Sisteme koji se treniraju pod nadzorom ili su u grupi Sistema visokog rizika, razmotriti odnos između oznaka u trening podacima i predviđene vrednosti.
3. Prepoznati ograničenja skupa podataka i modela
- Model treniran da detektuje korelaciju ne bi trebalo koristiti za donošenje odluka o kauzalnosti. Model može, na primer, naučiti da su ljudi koji kupuju patike za košarku u proseku viši, ali to ne znači da će neko ko kupi takve patike postati viši.
- Savremeni modeli mašinskog učenja u velikoj meri odražavaju pravilnosti u podacima koji su korišćeni za trening modela. Stoga je potrebno utvrditi opseg i pokrivenost raznih scenarija primene procedurom treninga kako bi se prepoznale mogućnosti i ograničenja modela.
- Transparentno navesti ograničenja sa korisnicima kad god je to moguće.
4. Testirati, testirati, testirati
- Sprovoditi rigorozno modularno testiranje, kako bi se pojedinačno istestirala svaka komponenta Sistema (te komponente obuhvataju kod, podatke i sam model).
- Sprovoditi testove integracije kako bi bilo razumljivo kako pojedinačne komponente komuniciraju sa ostalim delovima Sistema.
- Detektovati klizanje (engl. drift) ulaznih podataka testiranjem statističkih vrednosti podataka koji ulaze u Sistem, kako bi se osiguralo da se oni ne menjaju na nepredviđene načine.
- Koristiti skup podataka koji predstavlja "zlatni standard" (etalon) kako bi se osiguralo da se Sistem ponaša kako je predviđeno. Redovno ažurirati ovaj skup podataka u skladu s promenama korisnika i scenarija primene, kako bi se smanjio rizik od treniranja na testnom skupu.
- Sprovoditi iterativno testiranje od strane korisnika kako bi se, u različitim ciklusima razvoja, uključile različite funkcionalnosti.
- Primeniti "poka-jaram" (eng. poka-yoke) pristup: u Sistem ugraditi provere kvaliteta, tako da ne dolazi do nepredviđenih grešaka ili da one daju trenutan odgovor (na primer: ako nestane neko bitno obeležje, Sistem neće ponuditi odgovor).
5. Nadzirati Sistem tokom primene
Kontinuiran nadzor obezbeđuje da Sistem funkcioniše na predviđen način, uzimajući u obzir povratne informacije od strane korisnika.
- Predvideti intervale za ispravljanje nepravilnosti u radu Sistema.
- Razmotriti kratkoročna i dugoročna rešenja kojima se otklanjaju nepravilnosti. Uravnotežiti kratkoročna i dugoročna rešenja.
- Pre ažuriranja modela u primeni, analizirati razlike između modela u primeni i predloga izmenjenog modela, kao i kako će novi model uticati na celokupni kvalitet Sistema i iskustvo korisnika.
Bezbednost
Bezbednost obezbeđuje da se Sistemi ponašaju kako je predviđeno, bez obzira na potencijalne napade. Neophodno je utvrditi bezbednost Sistema pre primene u oblastima u kojima je bezbednost kritičan parametar. Postoje brojni izazovi po ovom pitanju. Na primer: teško je unapred predvideti sve scenarije, kao i razviti Sisteme koji pružaju i ograničenja potrebna sa stanovišta sigurnosti ali i fleksibilnost u kreiranju rešenja koja se prilagođavaju različitim ulaznim podacima.
S razvojem tehnologija veštačke inteligencije pojavljuju se i novi rizici od napada koje bi trebalo predvideti, kao što su: manipulacija podacima za trening, napadi izbegavanja, pristup osetljivim trening podacima, krađa modela ili zamena (eng. adversarial attacks)22. Pre razvoja Sistema razmotriti rizike i posledice napada, kako bi se donela odluka o daljem razvoju Sistema.
1. Identifikovati potencijalne pretnje
- Razmotriti da li iko ima interes da navede Sistem da se ponaša na nepredviđen ili štetan način.
- Identifikovati koje su neželjene posledice greške Sistema i proceniti verovatnoću i težinu tih posledica.
- Napraviti rigorozan model pretnji koji će predvideti što veći broj napada. Na primer, Sistem koji napadaču dozvoljava da izmeni ulazne podatke Sistema ranjiviji je od Sistema koji obrađuje metapodatke prikupljene putem servera jer je teže izmeniti ovakva ulazna obeležja bez direktnog pristupa serveru.
2. Definisati proceduru za otklanjanje pretnji
- Testirati performanse Sistema primenom različitih alata kao što su: CleverHans, ili Adversarial Robustness 360 Toolbox -ART.
- Formirati interni tim koji će napadati Sistem, ili organizovati takmičenje za testiranje Sistema.
- Razviti proceduru za otklanjanje različitih vrsta pretnji.
3. Vršiti kontinuiranu edukaciju
- Edukovati tim o najnovijim vrstama pretnji i napada koji se u praksi pojavljuju.
_______
22 Istraživači Majkrosofta i centra za internet i društvo "Berkman Klajn", univerziteta Harvard pokrenuli su inicijativu za formiranje taksonomije potencijalnih grešaka u sistemima veštačke inteligencije, slučajnih i namerno izazvanih, koja je dostupna na adresi https://docs.microsoft.com/en-us/security/engineering/failure-modes-in-machine-learning
4.3. Privatnost, zaštita podataka o ličnosti i upravljanje podacima
Usko povezani s principom sprečavanja nastanka štete su privatnost i zaštita podataka o ličnosti. Sprečavanje narušavanja privatnosti i prava na zaštitu podataka o ličnosti zahteva adekvatno upravljanje podacima koje, između ostalog, uključuje kvalitet i integritet podataka koji se koriste, njihovu relevantnost imajući u vidu oblast društvenog života u kojoj će se razvijati i primenjivati Sistem, protokole za pristup podacima, te sposobnost Sistema da se podaci obrađuju na način koji štiti privatnost i pravo na zaštitu podataka o ličnosti.
4.3.1 Upitnik
- Da li je analiziran uticaj sistema veštačke inteligencije na pravo na privatnost, pravo na fizički, psihički i/ili moralni integritet, kao i pravo na zaštitu podataka o ličnosti?
o Da, i to:
o Ne, ne obrađuju se podaci o ličnosti23
o Ne
- U zavisnosti od slučaja korišćenja sistema veštačke inteligencije, da li je uspostavljen mehanizam kojim se posebno označavaju elementi sistema koji utiču na privatnost?
o Da, i to:
o Ne
- Da li će priprema, treniranje, razvoj i korišćenje sistema veštačke inteligencije zahtevati obradu podataka o ličnosti (uključujući posebne vrste podataka o ličnosti)?
o Da, i to:
o Ne
- Da li postoji pravni osnov za (nameravanu) obradu podataka o ličnosti?24
o Da, i to:
o pristanak lica
o ugovor s licem
o poštovanje pravnih obaveza rukovaoca
o zaštita životno važnih interesa lica
o obavljanje poslova u javnom interesu/izvršenje zakonom propisanih ovlašćenja rukovaoca
o legitimni interes rukovaoca/trećeg lica
o Ne
- Ukoliko se obrađuju posebne vrste podataka o ličnosti, da li su ispunjeni uslovi za dozvoljenost takve obrade?
o Da
o Ne
o Ne obrađuju se posebne vrste podataka o ličnosti
- Da li je određena (opravdana i zakonita) svrha obrade podataka o ličnosti?
o Da, i to:
o Ne
- Da li je oblast na koju se primenjuje sistem veštačke inteligencije uređena posebnim propisima i da li se (nameravana) obrada podataka o ličnosti vrši u skladu s tim posebnim propisima?
o Da, i to:
o Ne
- Da li je sprovedena neka od sledećih mera (od kojih su neke obavezne prema Zakonu o zaštiti podataka o ličnosti ("Službeni glasnik RSˮ, broj 87/18) i zakonu/propisu druge zemlje/EU čija je primena obavezna u konkretnom slučaju)?
o izvršena je procena uticaja obrade na zaštitu podataka o ličnosti
o određeno je lice za zaštitu podataka o ličnosti koje je uključeno u razvoj, nabavku ili upotrebu sistema veštačke inteligencije
o predviđene su tehničke, organizacione i kadrovske mere zaštite podataka o ličnosti (uključujući ograničen pristup podacima od strane ovlašćenih lica, mehanizme za evidentiranje/beleženje pristupa podacima i unošenje izmena i dr)
o predviđeni su mehanizmi za postizanje ugrađene i podrazumevane privatnosti (eng. privacy by design & privacy by default) kao što su: enkripcija, pseudonimizacija, agregacija, anonimizacija i dr.
o omogućeno je sprovođenje načela obrade podataka o ličnosti, uključujući načelo svođenja podataka na minimum, u odnosu na konkretne podatke (uključujući i posebne vrste podataka o ličnosti)
- Da li je u sistemu veštačke inteligencije omogućeno da lice da opoziv pristanka na obradu podataka o ličnosti, prigovor i brisanje podataka o ličnosti po zahtevu lica na koje se podaci odnose?
o Da
o Ne
- Da li su uzete u obzir posledice obrade podataka o ličnosti po privatnost lica i pravo na zaštitu podataka o ličnosti, tokom celokupnog životnog ciklusa sistema veštačke inteligencije?
o Da
o Ne
- Da li postoje posledice po privatnost i zaštitu podataka o ličnosti usled obrade drugih podataka u okviru sistema veštačke inteligencije koji nisu podaci o ličnosti?
o Da
o Ne
- Da li je sistem veštačke inteligencije usklađen sa odgovarajućim standardima25 ili drugim opšteprihvaćenim protokolima za upravljanje podacima?
o Da, i to sa:
o Ne
_______
23 Ova grupa pitanja se ne popunjava, osim poslednja dva
24 Član 12. Zakona o zaštiti podataka o ličnosti, "Službeni glasnik RS", br. 87/2018.
25 na primer: ISO (ISO 27001 i dr), IEEE.
4.3.2 Preporuke
Upravljanje podacima obezbeđuje tačnost, bezbednost i dostupnost podataka radi očuvanja kvaliteta i njihove zaštite. Rukovalac podacima obavezan je da zaštiti podatke u Sistemu. Neophodno je na zakonit način obezbediti pristup podacima poštujući privatnost pojedinca, a sve u skladu s propisima o zaštiti podataka, naročito podataka o ličnosti
1. Upravljanje podacima obuhvata:
- definisanje delova podataka i unosa podataka za kreiranje zajedničkog poslovnog rečnika u poslovnom rečniku
- identifikovanje atributa podataka (metapodataka) i načina unosa podataka
- definisanje korisničkih uloga i načina autentikacije i autorizacije pristupa podacima
- procese upravljanja podacima
- pravila i norme koja definišu proces upravljanja podacima tokom celog životnog ciklusa
- upravljanje šifarnicima, kako bi se iste klasifikacije koristile u svim operativnim i analitičkim sistemima
- tehnologiju* koja omogućava upravljanje struktuiranim, multistruktuiranim i nestrukturiranim podacima u svim okruženjima infrastrukture.
*Tehnologije upravljanja podacima su: katalog podataka, softver za integraciju i upravljanje podacima (eng. data fabric software), "skladište podataka" (eng. data lake) i upravljanje šifarnicima i klasifikacijama.
Katalog podataka obuhvata:
- poslovni rečnik
- automatsko otkrivanje podataka, profilisanje, obeležavanje, katalogizaciju i mapiranje rečnika pojmova
- automatsku detekciju osetljivih podataka i klasifikaciju upravljanja
- interoperabilnost s drugim šifarnicima, alatima i aplikacijama radi razmene podataka.
Softver za integraciju i upravljanje podacima obuhvata:
- izvore podataka, "multi-cloud" i "edge data" povezivanje
- alate za čuvanje podataka
- ispravku i integrisanje podataka
- metapodatke
- obezbeđivanje zaštite podataka
- bezbednost pristupa podacima u višestrukim skladištima podataka u distribuiranom okruženju podataka
Skladišta podataka podržavaju enkripciju podataka, anonimizaciju i pseudonimizaciju podataka i povezivanje s katalogom podataka.
Netehnološki alati su:
- Primena zakonskog okvira koji uređuje ko, kada i s kojom svrhom obrađuje koje podatke: transparentno informisanje o svrsi i načinu rada Sistema, načinu obrade podataka i drugim pitanjima značajnim za zaštitu podataka.
- Promovisanje korišćenja bezbednih operativnih okruženja kao što je infrastruktura u Državnom centru za upravljanje i čuvanje podataka.
- Kontrola od strane lica čiji se podaci koriste poštujući prava pojedinca.
- Ograničavanje pristupa podacima koji imaju određeni stepen poverljivosti.
- Profesionalno upravljanje od strane lica obučenih za etičko korišćenje podataka, kojim se uspostavlja ravnoteža između brige za javno dobro i rizika koji proističu iz obrade podataka, uz blisku saradnju sa istraživačima i stručnom zajednicom.
Transparentnost se definiše26 kao:
- stepen u kojem Sistem otkriva procese ili parametre koji se odnose na njegovo funkcionisanje; i
- svojstvo koje omogućava da se otkrije kako i zašto je Sistem doneo određenu odluku ili postupio na način na koji je to učinio, uzimajući u obzir svoje okruženje.
Transparentnost je važna iz najmanje tri razloga: 1) autonomni i inteligentni sistemi (AIS) mogu da pogreše ili načine štetu, a transparentnost je neophodna da bi se otkrilo kako i zašto; 2) AIS treba da bude razumljiv korisnicima i 3) bez adekvatne transparentnosti odgovornost je nemoguća.
Jedna od karakteristika inteligentnih sistema je autonomnost. Autonomni sistem se može definisati kao "sistem koji ima kapacitet da sam donosi odluke, kao odgovor na neke ulazne podatke ili stimulanse, s različitim stepenom ljudske intervencije u zavisnosti od nivoa autonomije sistema". Sistemi pokazuju određeni nivo autonomnosti u interakciji sa okruženjem. Već duži niz godina, roboti se koriste u sistemima za razvrstavanje artikala i kontrolu kvaliteta, kao i za upravljanje industrijskim skladištima s proizvodima. Inteligentni agenti se koriste za primenu finansijskih servisa, smanjenje rizika od ljudske greške i, na taj način, za poboljšanje performansi trgovanja na berzi. Međutim, dalji razvoj i primena sistema veštačke inteligencije u nekim domenima kao što su zdravstvo, farmacija i pravo, zavisiće od postupka i mogućnosti za sledljivost procesa donošenja odluka i akcija, tehnika za tumačenje i objašnjivost rezultata, i načina interakcije korisnika sa sistemima veštačke inteligencije i prezentovanja rezultata krajnjim korisnicima.
Transparentnost je ključna komponenta koja doprinosi izgradnji pouzdane veštačke inteligencije dostojne poverenja koja obuhvata tri elementa: 1) mogućnost praćenja - sledljivost (eng. traceability) sistema veštačke inteligencije 2) objašnjivost (eng. explainability) sistema veštačke inteligencije, naročito modela sistema i 3) komunikaciju - dijalog sa svim zainteresovanim stranama o ograničenjima sistema veštačke inteligencije
______
26 A.F.T. Winfield et al., (2021), IEEE P7001: A Proposed Standard on Transparency, Front. Robot. AI, https://doi.org/10.3389/frobt.2021.665729.
4.4.1. Upitnik
Mogućnost praćenja - sledljivost
Praćenje organizacijama omogućava da procene da li su procesi razvoja sistema veštačke inteligencije, odnosno podaci, procedure i procesi koji utiču na odluke zasnovane na veštačkoj inteligenciji dokumentovani tako da dozvoljavaju praćenje, povećavaju transparentnost i grade poverenje društva u veštačku inteligenciju.
- Da li su uspostavljene mere za praćenje sistema veštačke inteligencije tokom njegovog čitavog "životnog" ciklusa?
o Da
o Ne
- Da li postoji tehnička dokumentacija (dosije/portfolio) sistema veštačke inteligencije koji se pravovremeno ažurira i da li se ta dokumentacija čuva u skladu sa zakonom27?
o Da
o Ne
- Da li su uspostavljene mere za kontinuirano praćenje kvaliteta ulaznih podataka sistema veštačke inteligencije?
o Da, i to:
o kvantifikovanje nedostajućih vrednosti
o istraživanje prekida u dotoku podataka
o detektovanje slučaja kada podaci nisu dovoljni za izvršenje zadatka
o prepoznavanje ulaznih podataka koji sadrže grešku, nisu ispravni, nisu tačni ili nisu odgovarajućeg formata
o drugo:
o Ne
- Da li je moguće retroaktivno evidentirati koji su podaci korišćeni od strane sistema veštačke inteligencije da bi se donela određena odluka(e) ili preporuka(e)?
o Da
o Ne
- Da li je moguće retroaktivno evidentirati koji je model ili pravilo korišćeno za donošenje određene odluke(a) ili preporuke(a)?
o Da
o Ne
- Da li su uspostavljene mere za kontinuiranu procenu kvaliteta izlaznih rezultata sistema veštačke inteligencije?
o Da, i to:
o proverom da li su dobijeni rezultati u okviru očekivanog raspona
o otkrivanjem nepravilnosti u izlaznim rezultatima
o preraspodelom ulaznih podataka koji su doveli do nepravilnosti
o drugo:
o Ne
- Da li se u sistemu veštačke inteligencije vrši evidentiranje pristupa sistemu od strane korisnika pri donošenju odluka i preporuka?
o Da
o Ne
- Da li se u sistemu veštačke inteligencije vrši evidentiranje metapodataka (datum i vreme početka i završetka korišćenja sistema, baze podataka koja je korišćena kao referentni izvor podataka u sistemu i dr) o načinu korišćenja sistema?
o Da, i to:
o Ne
- Da li se u sistemu veštačke inteligencije vrši evidentiranje pristupa sistemu od strane lica koja kontrolišu proces donošenja odluka?
o Da
o Ne
- Da li je kreiran dokument koji na jasan način objašnjava model Sistema na način da pruža informacije o: 1) svrsi algoritma, 2) skupu podataka na kojima je model treniran, 3) izvoru i načinu prikupljanja podataka, 4) svojstvima algoritma?
o Da, i to za: (označi broj)
o Ne
______
27 Zakon o elektronskom dokumentu, elektronskoj identifikaciji i uslugama od poverenja u elektronskom poslovanju, "Službeni glasnik RS", br. 94/2017 i 52/2021.
Objašnjivost
Naredna grupa pitanja omogućava procenu stepena razumevanja sistema veštačke inteligencije, odnosno načina i razloga zbog kojih je sistem projektovan na određen način. Time se razvija poverenje korisnika u sisteme veštačke inteligencije. Odluke koje se donose korišćenjem sistema veštačke inteligencije moraju biti objašnjene i razumljive onima na koje neposredno ili posredno utiču, u cilju eventualnog osporavanja takvih odluka. Objašnjenje toga zašto je model predložio određenu odluku/rezultat (koja kombinacija ulaznih faktora je uticala na taj rezultat) nije uvek moguće. Ovakvi slučajevi odnose se na tzv. "crne kutije" i zahtevaju dodatnu pažnju, odnosno drugu vrstu mera za postizanje objašnjivosti (na primer, mogućnost praćenja, eksterne evaluacije[1] i transparentne komunikacije o dometima i mogućnostima sistema veštačke inteligencije), naravno pod pretpostavkom da sistem veštačke inteligencije kao celina poštuje osnovna ljudska prava. Objašnjivost zavisi od konteksta, a naročito od procene mogućih negativnih posledica greške/netačnih rezultata na čovekov život.
- Da li je korisnicima objašnjen način na koji sistem veštačke inteligencije predlaže odluke?
o Da, i to:
o u korisničkom uputstvu (video, audio, dokument i sl.)
o organizovanjem radionica, obuka i sl.
o Ne
- Da li je uspostavljen mehanizam za praćenje stepena razumevanja korisnika (optimalnog obima/stepena objašnjenja)?
o Da, i to:
o Ne
- Da li se kontinuirano prati i analizira razumevanje korisnika radi organizovanja dodatnih obuka ili vršenja odgovarajućih korekcija sistema veštačke inteligencije?
o Da, i to:
o Ne
Komunikacija
Naredna grupa pitanja omogućava procenu toga da li je sistem veštačke inteligencije u skladu sa specifičnim slučajevima korišćenja, odnosno mogućnostima i ograničenjima sistema. Ovo može obuhvatiti i obaveštavanje o stepenu tačnosti i ograničenjima sistema veštačke inteligencije.
- U slučaju korišćenja interaktivnih sistema veštačke inteligencije (čet-botovi, robo-advokati), da li su korisnici obavešteni da su u interakciji sa sistemom veštačke inteligencije, a ne s ljudskim bićem?
o Da, na jasan i transparentan način, već u prvom koraku, pri svakom pristupu sistemu
o Ne
- Da li je korisniku koji ne želi da komunicira sa sistemom veštačke inteligencije obezbeđen drugi način komunikacije?
o Da i to: (navesti način)
o Ne
- Da li je uspostavljen mehanizam za informisanje o nameni i kriterijumima na osnovu kojih se donosi odluka?
o Da, i to:
o Ne
- Da li su korisnici informisani o prednostima korišćenja sistema veštačke inteligencije?
o Da, i to:
o Ne
- Da li su korisnici obavešteni o tehničkim ograničenjima i potencijalnim rizicima sistema veštačke inteligencije značajnim za donošenje odluke (npr. koji je nivo tačnosti i/ili raspon mogućih grešaka sistema)?
o Da, sva ograničenja su navedena u posebnom odeljku
o Ne
- Da li je pripremljen materijal za obuku za adekvatno korišćenje sistema veštačke inteligencije?
o Da
o Ne
4.4.2. Preporuke
Mogućnost praćenja - sledljivost smatra se ključnim zahtevom za stvaranje pouzdanih i odgovornih Sistema. Nove informaciono-komunikacione tehnologije kao što su: internet stvari (eng. internet of things), računarstvo u oblaku (eng. cloud computing) i mobilno računarstvo omogućile su dalji razvoj pristupa za obradu velikih količina podataka (eng. big data) i algoritama veštačke inteligencije. Za razumevanje i tumačenje informacija sadržanih u skupovima podataka, potrebno je izvući važne činjenice i rezonovati koristeći znanje i/ili teoriju verovatnoće. Stoga, Smernice razlikuju sledljivost na nivou:
- porekla, pristupa i ekstrakcije podataka,
- algoritama i modela za mašinsko učenje,
- procesa za automatsku pripremu i obradu podataka i procesa zaključivanja iz identifikovanih ulaznih faktora i izlaznih preporuka relevantnih za rešavanje problema.
Objašnjivost se definiše kao "mera u kojoj su unutrašnje stanje i procesi donošenja odluka u autonomnom sistemu dostupni zainteresovanim stranama, uključujući i krajnjeg korisnika sistema". U slučajevima kada Sistem ima značajan uticaj na živote ljudi, zahteva se odgovarajuće objašnjenje procesa donošenja odluka koje je blagovremeno i prilagođeno stručnosti zainteresovane strane (npr. laika, regulatora ili istraživača).
Kada su osnovni elementi za izgradnju Sistema netransparentni (na primer: model i proces učenja), odluka zasnovana na veštačkoj inteligenciji nije intuitivna i objašnjiva. Za mnoge "netehničke" korisnike, inteligentni program zasnovan na algoritmima za mašinsko učenje28 je "crna kutija", na primer: neuronske mreže za prepoznavanje obrazaca.
Ovaj fenomen crne kutije dovodi do toga da korisnici dovode u pitanje odluke Sistema: Zašto ste to uradili? Zašto je ovo rezultat? Kada ste uspeli ili niste postigli uspeh? Kada mogu da verujem? Ovaj refleksivni skepticizam neposredno utiče na poverenje korisnika i efikasnost donošenja odluka, čime utiče i na usvajanje rešenja veštačke inteligencije, uključujući finansijske i pravne odluke, medicinske dijagnoze, praćenje industrijskih procesa, bezbednosni skrining, zapošljavanje, pravne presude, upis na univerzitet, pametne kuće i autonomna vozila.
Objašnjivost29 se odnosi na one tehnike veštačke inteligencije koje korisnicima Sistema (inženjerima veštačke inteligencije, krajnjim korisnicima i revizorima) pomažu da razumeju razloge zbog kojih model proizvodi svoje rezultate. Dalje, objašnjivost se odnosi i na one tehnike koji mogu da obezbede transparentnost u vezi sa ulaznim podacima, kao i "razlogom" koji stoji iza upotrebe algoritma koji vodi do specifičnog izlaza. Sam algoritam u ovom slučaju ne mora nužno biti otkriven. Štaviše, korak dalje ka pouzdanoj veštačkoj inteligenciji je odgovorna veštačka inteligencija, koja pored objašnjivosti uključuje i ostale principe koje treba ispuniti prilikom primene Sistema u praktičnim scenarijima: pravičnost (eng. fairness), usmerenost na čoveka (eng. human-centric), svest o privatnosti (eng. privacy awareness, odgovornost (eng. accountability), bezbednost i sigurnost (eng. safety and security).
Dok se pojedini modeli (statistički i drva odlučivanja) mogu mapirati u pravila i na taj način obezbediti interpretabilost rezultata, to nije slučaj s dubokim neuronskim mrežama, koje su našle širu primenu poslednjih godina zbog sve veće količine dostupnih podataka pogodnih za mašinsko učenje. Poslednji trendovi vezani za objašnjivu veštačku inteligenciju podrazumevaju učenja modela koji su lakše objašnjivi, korišćenje mreža neuralne logike, uvođenje interpretabilnih modela, korišćenje grafikona znanja,30 itd.
______
28 Franco-German position paper on "Speeding up Industrial AI and Trustworthiness", https://cris.vtt.fi/en/publications/franco-german-position-paper-on-speeding-up-industrial-ai-and-tru
30 High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI, https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai
Komunikacija
Da bi se obezbedilo poštovanje osnovnih prava i usklađenost sa osnovnim ljudskim pravima, a posebno pravom na obaveštenost, Sistemi moraju biti prepoznatljivi kao takvi. Korisnici moraju biti obavešteni da su u interakciji sa Sistemom, a, kada je to potrebno, i da imaju izbor da zahtevaju komunikaciju s čovekom.
Korisnost, delotvornost, efikasnost i upotrebljivost Sistema obezbeđuje se uključivanjem krajnjih korisnika u dizajn, evaluaciju i primenu grafičkog korisničkog interfejsa.
Da bi se obezbedila precizna i eksplicitna veza između apstraktnih principa koje je Sistem dužan da poštuje i konkretnih odluka o realizaciji, primenjuje se preporuka - etika po dizajnu (eng.ethics-by-design). Već se koriste koncepti "po dizajnu", na primer privatnost po dizajnu i bezbednost po dizajnu. Da bi imali poverenje u Sistem neophodno je da bude razumljiv i objašnjiv licima koja ga primenjuju i koriste, kao i bezbedan u svim svojim procesima.
4.5. Različitost, nediskriminacija i ravnopravnost
Kako bi sistem veštačke inteligencije bio pouzdan, potrebno je omogućiti uključivanje (inkluzivnost) i različitost tokom celog životnog ciklusa sistema. Sistemi veštačke inteligencije mogu imati određene nedostatke zbog npr. nekompletnosti i modela lošeg upravljanja, što može dovesti do nenamernih (ne)posrednih prejudiciranja i diskriminacije protiv određenih grupa, potencijalno utičući na pogoršanje određenih predrasuda i dodatnu marginalizaciju ranjivih grupa. Sistemi veštačke inteligencije treba da budu usmereni na korisnika i stvoreni na način koji svakome omogućava korišćenje proizvoda ili usluga veštačke inteligencije, bez obzira na njihov uzrast, pol, mogućnosti ili karakteristike. Od posebnog je značaja pristupačnost ove tehnologije za osobe sa invaliditetom, koje su prisutne u svim društvenim grupama.
4.5.1. Upitnik
Sprečavanje predrasuda
- Da li postoje definisane procedure za sprečavanje kreiranja ili podsticanja predrasuda u sistemu veštačke inteligencije, kako pri izboru ulaznih podataka, tako i kreiranju algoritma?
o Da, uzete su u obzir različitost i reprezentativnost krajnjih korisnika i/ili lica
o Da, testiran je sistem za sve ciljne grupe, naročito za osetljive kategorije
o Da, prilikom razvoja sistema veštačke inteligencije korišćeni su posebni alati koji omogućavaju bolje razumevanje podataka, modela i performansi
o Da, definisane su procedure za testiranje i praćenje potencijalnih predrasuda tokom čitavog životnog ciklusa sistema
o Ne
- Da li se vrši edukacija i podizanje svesti lica koja učestvuju u stvaranju sistema veštačke inteligencije (dizajneri, programeri i dr) kako da prepoznaju diskriminaciju i predrasude?
o Da, i to:
o Ne
- Da li postoji mehanizam koji u sistemu veštačke inteligencije prepoznaje predrasude i diskriminaciju?
o Da, uspostavljen je mehanizam detekcije, odnosno prijave i predviđen je postupak rešavanja po prijavama
o Da, identifikovano je na koja lica, pored krajnjih korisnika, sistem može da utiče
o Ne
- Da li se definicija ravnopravnosti koristi i primenjuje u svim fazama procesa uspostavljanja sistema veštačke inteligencije?
o Da, uz prethodno razmatranje više različitih definicija
o Da, uz prethodno konsultovanje svih grupa na koje sistem ima uticaja
o Da, uz prethodno izvršeno testiranje korišćenja definicije
o Ne
Pristupačnost i jedinstveni (univerzalni) dizajn
Naročito u domenima "privreda ka potrošaču", sistemi veštačke inteligencije treba da budu usmereni na korisnika i dizajnirani na način koji omogućava svim ljudima da koriste proizvode ili usluge veštačke inteligencije, bez obzira na njihov uzrast, pol, mogućnosti ili karakteristike. Pristupačnost ove tehnologije za osobe sa invaliditetom, koje su prisutne u svim društvenim grupama, od posebnog je značaja. Sistemi veštačke inteligencije ne bi trebalo da imaju pristup "kalupa koji odgovara svimaˮ, već bi trebalo da razmotre principe jedinstvenog (univerzalnog) dizajna koji bi odgovarao najširem mogućem krugu korisnika, prateći relevantne standarde pristupačnosti. Ovo će omogućiti jednak pristup i aktivno učešće svih ljudi u postojećim i nadolazećim ljudskim aktivnostima u kojima kompjuteri posreduju a u vezi sa asistivnim tehnologijama.
- Da li sistem veštačke inteligencije odgovara različitim afinitetima i mogućnostima?
o Da
o Ne
- Da li sistem veštačke inteligencije mogu da koriste osobe sa invaliditetom ili druge posebno osetljive grupe, kao i marginalizovane grupe (mogućnost izbora više od jednog odgovora)?
o Da, tokom dizajniranja sistema konsultovane su razne grupe korisnika za koje je potrebno obezbediti posebne mehanizme pristupačnosti
o Da, korisničkom interfejsu su dostupni čitači ekrana i druge pomoćne tehnologije kako bi se omogućilo korišćenje sistema od strane navedenih lica?
o Ne
- Da li je tokom razvoja sistema obezbeđen princip univerzalnog dizajna, ako je primenljivo?
o Da
o Ne, jer nije relevantan za sistem
o Ne
- Da li je izvršena procena primene sistema veštačke inteligencije na grupe koje bi mogle biti pogođene ishodima primene sistema?
o Da
o Ne
Učešće zainteresovanih strana
Da bi se razvila pouzdana veštačka inteligencija, preporučljivo je konsultovati zainteresovane strane na koje sistem veštačke inteligencije može neposredno ili posredno uticati tokom svog životnog ciklusa. Korisno je tražiti redovne povratne informacije čak i nakon puštanja u rad (primene) sistema, i uspostaviti dugoročne mehanizme za učešće zainteresovanih strana, na primer obezbeđivanjem informacija o radnicima, konsultacija i učešća tokom celog procesa primene sistema veštačke inteligencije u organizacijama.
- Da li su prilikom razvoja sistema veštačke inteligencije konsultovane sve zainteresovane strane?
o Da, i to:
o Ne
- Da li su zaposlena/angažovana lica eksplicitno upoznata s neposrednim ili posrednim efektima koje veštačka inteligencija ima ili može da ima na njihov radni status i prava?
o Da, i to:
o Ne
- Da li su zaposlena/angažovana lica imali obuku koja im pruža znanje o funkcionisanju veštačke inteligencije i njenom uticaju na njihov radni status i prava?
o Da, i to:
o Ne
- Da li je zaposlenim/angažovanim licima i sindikatima omogućeno da traže i dobiju podatke o visokorizičnim sistemima veštačke inteligencije koji utiču na njihov radni status i prava u vezi sa tim?
o Da
o Ne
- Da li će se nakon puštanja u rad sistema sprovoditi periodična ispitivanja korisnika sistema, a u cilju kontrole istog?
o Da, i to:
o Ne
4.5.2. Preporuke
Važan uslov pouzdane i odgovorne veštačke inteligencije je njeno nediskriminatorno ponašanje koje uvažava različitost i doprinosi ravnopravnosti. Preporuke za postizanje nivoa različitosti, nediskriminacije i ravnopravnosti u smislu etičkih principa izloženih u ovim Smernicama su:
- Analizirati Sistem u realnom vremenu čime se otkrivaju namerne i nenamerne pristrasnosti i diskriminatorni obrasci. Kada pristrasnost (diskriminatorni obrazac) u podacima postane očigledna, tim mora da istraži i razume odakle potiče i kako se može ublažiti (poželjno otkloniti u celosti).
- Razviti Sistem bez namernih pristrasnosti uz redovno revidiranje Sistema kako bi se pristrasnosti izbegle. Nenamerne pristrasnosti uključuju i stereotipe.
- Proveriti podatke i izvore tih podataka pre započinjanja treninga algoritma.
- Uključiti mehanizam za obezbeđivanje povratne informacije s licima koja koriste/primenjuju Sistem kako bi se podigla svest o pristrasnostima ili problemima koje identifikuju ta lica.
- Formirati multidisciplinarne timove za ocenu predmetnih parametara. Različiti timovi pomažu u predstavljanju šire varijacije iskustava kako bi se pristrasnost pa i diskriminacija svele na minimum.
- Obezbediti objektivnost i mehanizam za otklanjanje pristrasnosti.
- Ako se Sistem pokaže kao neadekvatan, pristrasan, da donosi diskriminatorne odluke ili je uopšteno neuspešan a nema uslova za unapređenje, obustaviti njegov rad. Proceniti štetu koju Sistem može da načini društvu i pojedincu spram štete koja će nastati povlačenjem iz rada takvog Sistema.
- Uključiti u rad tima članove različitih uzrasta, nacionalnosti, pola, obrazovnih disciplina i kulturnih perspektiva. Različitost te vrste daje pristup varijacijama iskustava kako bi se pristrasnost svela na minimum.
- Testirati Sistem od rane faze dizajna i često.
Primer različitosti, nediskriminacije i ravnopravnosti.31 Nakon što se sastao s članovima globalnog menadžmenta hotela, tim za razvoj Sistema otkriva da su različitost i inkluzivnost važni elementi vrednosti hotela. Kao rezultat toga, tim osigurava da prikupljeni podaci o rasi, polu, itd. korisnika u kombinaciji sa njihovom upotrebom Sistema, neće biti korišćeni za oglašavanje ili isključivanje određenih demografskih kategorija. Tim je preuzeo skup podataka o gostima hotela. Nakon analize ovih podataka i primene u gradnji agenta, shvataju da postoji stepen algoritamske pristrasnosti podataka. Tim nastavlja da odvaja vreme da dodatno obuči model na većem, raznovrsnijem skupu podataka kako bi obezbedio nediskriminaciju i ravnopravnost društvenih kategorija.
_______
31 Primer preuzet sa https://www.ibm.com/design/ai/ethics/fairness/#ai-must-be-designed-to-minimize-bias-and-promote-inclusive-representation
4.6. Društveno i ekološko blagostanje
U skladu s principima pravičnosti i prevencije štete, tokom životnog ciklusa sistema veštačke inteligencije neophodno je sagledati njegov uticaj na društvo i životnu sredinu. Izloženost sistemima veštačke inteligencije u svim segmentima života (obrazovanju, poslu ili zabavi) može promeniti način delovanja pojedinca ili negativno uticati na društvene odnose. Efekti primene sistema veštačke inteligencije moraju se kontinuirano pratiti i preispitivati. Potrebno je podržati istraživanja koji uključuju razvoj sistema veštačke inteligencije koja pozitivno utiču na zaštitu životne sredine.
4.6.1. Upitnik
Zaštita životne sredine
- Da li postoje potencijalni negativni uticaji sistema veštačke inteligencije na životnu sredinu?
o Da, i to:
o Ne
- Da li su uspostavljeni mehanizmi za procenu uticaja razvoja, primene i/ili korišćenja sistema veštačke inteligencije na životnu sredinu (na primer, količina upotrebljene energije i emisije ugljenika)?
o Da, i to:
o Ne
- Da li su definisane mere za smanjenje uticaja sistema veštačke inteligencije na životnu sredinu tokom njegovog životnog ciklusa?
o Da, i to:
o Ne
Uticaj na rad i veštine
- Da li sistem veštačke inteligencije utiče na radno angažovanje i način rada?
o Da
o Ne
- Da li su pre uvođenja sistema veštačke inteligencije o tome obavešteni i konsultovani zaposleni/angažovani na čiji će rad uvođenje sistema uticati, kao i na njihove predstavnike (sindikate i sl.)?
o Da
o Ne
- Da li su preduzete odgovarajuće mere koje će obezbediti razumevanje uticaja sistema veštačke inteligencije na način rada zaposlenih/angažovanih?
o Da, i to:
o Ne
- Da li korišćenje sistema veštačke inteligencije stvara rizik od dekvalifikacije zaposlenih/angažovanih?
o Da
o Ne
- Da li su preduzete odgovarajuće mere da se spreči rizik od gubitka veština?
o Da, i to:
o Ne
- Da li korišćenje sistema veštačke inteligencije promoviše ili zahteva nove (digitalne) veštine?
o Da
o Ne
- Da li su pripremljeni korisničko uputstvo i drugi materijali neophodni za usavršavanje zaposlenih/angažovanih?
o Da
o Ne
- Da li se realizuju obuke zaposlenih/angažovanih?
o Da
o Ne
Uticaj na društvo
- Da li sistem veštačke inteligencije može imati negativan uticaj na društvo u celini ili na demokratiju?
o Da
o Ne
- Da li je procenjen posredan uticaj korišćenja sistema veštačke inteligencije na sve zainteresovane strane ili društvo u celini?
o Da, izvršena je procena uticaja
o Ne
- Da li su preduzete odgovarajuće mere koje smanjuju potencijalan štetni uticaj na društvo?
o Da, i to:
o Ne
- Da li su preduzete mere koje obezbeđuju da sistem veštačke inteligencije ne utiče negativno na demokratiju?
o Da, i to:
o Ne
4.6.2. Preporuke
Tokom celokupnog životnog ciklusa Sistema neophodno je promatrati njegov uticaj na društvo i životnu sredinu. Primena Sistema može negativno uticati na društvene odnose u različitim oblastima života (obrazovanje, rad, slobodno vreme, razonoda i slično) te je od izuzetne važnosti kontinuirano procenjivati, pratiti i preispitivati efekte primene Sistema na čoveka i društvo u celini kao i životnu sredinu sa kojom je čovek u neraskidivoj vezi.
Radi postizanja ovog uslova, preporuka je da se za Sistem:
- Uspostavi standardizovan pristup procene uticaja na ljude, organizacije, celo društvo, demokratiju i prirodnu sredinu.
- Obavi procena uticaja uz učešće selektovanih individua koje su zadužene za procene.
- U procene uticaja Sistema uključe i efekti ograničenja Sistema ili restriktivnog ili osetljivog korišćenja.
- Periodično obnove postojeće procene uticaja usled promena u Sistemu ili usled promene ili proširenja svrhe korišćenja Sistema.
- Definišu i dokumentuju metode koje će da se koriste da bi se obavestila ili informisala lica koja imaju bilo kakvu interakciju sa Sistemom (a ne sa osobom), ili da kao rezultat obrade Sistema bude generisan rezultat (npr. fotografija).
- Identifikuju i prioritizuju demografske grupe koje mogu da dobiju niži kvalitet servisa u zavisnosti od demografske grupe kojoj pripadaju ili usled kombinacije drugih faktora.
- Analiziraju izvorni podaci da bi se procenila inkluzivnost svih demografskih grupa - dokumentovati koje grupe nisu pokrivene i prikupiti dodatne podatke koji rešavaju taj problem.
- Definišu i dokumentuju procene ravnopravnosti/inkluzivnosti upotrebe Sistema za sve demografske grupe.
- Definišu i dokumentuju minimalni i maksimalni kriterijumi koje procena treba da zadovolji radi odgovornog stavljanja Sistema u operativno korišćenje (fazu produkcije).
- Uporedi procena sa uspostavljenim kriterijumima, i u slučaju da minimalna očekivanja nisu postignuta, uspostave opcije za prevazilaženje; Potencijalno konsultovati stručnjake u referentnoj oblasti kako bi se osiguralo da su rešenja prihvatljiva i u skladu s regulativom
Pitanje odgovornosti je usko povezano s pravilnim planiranjem razvoja i nadzora nad Sistemom u fazi produkcije, upravljanjem rizicima i procedurama za utvrđivanje odgovornosti i sanacije štete koja nastane kao posledica primene Sistema.
Ne isključujući odgovornost drugih lica u lancu kreiranja i produkcije Sistema, dizajneri i programeri Sistema su lica s visokim stepenom odgovornosti prilikom razmatranja dizajna, razvoja, procesa odlučivanja i ishoda Sistema. To ne znači da pomenuta lica nemaju pravo ili ne treba da rade u multidisciplinarnom timu, naprotiv.
Ljudska logika i prosuđivanje su ključni faktori u životu Sistema koji po pretpostavci donosi objektivno-logičke odluke, jer su ljudi ti koji pišu algoritme, definišu uspeh ili neuspeh, pripremaju podatke i skupove podataka, treniraju modele, vrše evaluaciju, donose odluke o upotrebi Sistema. Zato je važno da čovek uvek bude svestan toga i da teži tom aksiomu bez obzira na okolnosti pod kojima razvija Sistem. Sva lica uključena u stvaranje Sistema u bilo kom koraku odgovorna su za razmatranje njegovog uticaja u okruženju u kome će biti primenjen, kao i kompanije koje su investirale u njegov razvoj.
4.7.1. Upitnik
Mogućnost revizije
Ovaj odeljak pomaže u samoocenjivanju postojećeg ili neophodnog nivoa koji bi bio potreban za procenu sistema veštačke inteligencije, od strane internih i eksternih revizora. Mogućnost sprovođenja evaluacija kao i pristup podacima o navedenim evaluacijama može doprineti pouzdanoj veštačkoj inteligenciji. U softverskim rešenjima koja utiču na osnovna prava čoveka, uključujući aplikacije koje su kritične za bezbednost, trebalo bi da postoji mogućnost da sistemi veštačke inteligencije budu u mogućnosti da budu nezavisno revidirani. Ovo ne znači nužno da informacije o poslovnim modelima i intelektualnoj svojini u vezi sa sistemom veštačke inteligencije moraju uvek biti otvoreno dostupne.
- Da li je uspostavljen mehanizam kojim se omogućava revizija sistema veštačke inteligencije?
o Da, kroz sledljivost procesa razvoja
o Da, praćenjem podataka kojim se trenira sistem i evidentiranjem ishoda
o Da, evidentiranjem pozitivnih i negativnih uticaja korišćenja sistema
o Ne
- Da li je omogućeno da (nezavisno) treće lice može da izvrši reviziju sistema veštačke inteligencije?
o Da, evidentiranjem pozitivnih i negativnih uticaja korišćenja sistema
o Ne
Upravljanje rizicima
Upravljanje rizicima zahteva identifikovanje, procenu, dokumentovanje i svođenje na minimum potencijalnih negativnih uticaja sistema veštačke inteligencije. Uzbunjivačima, organizacijama civilnog društva, sindikatima i drugim subjektima mora biti dostupna odgovarajuća zaštita kada prijavljuju opravdanu zabrinutost zbog korišćenja sistema veštačke inteligencije.
Ovo zahteva da treba da budu identifikovani relevantni interesi i vrednosti koje sistem veštačke inteligencije podrazumeva i da, ako dođe do sukoba, treba da budu eksplicitno priznati i ocenjeni kompromisi u smislu njihovog rizika po bezbednost i etičke principe, uključujući osnovna prava. Svaka odluka o tome koji kompromis treba da bude načinjen, treba da bude dobro obrazložena i pravilno dokumentovana. Kada dođe do štetnog uticaja, treba predvideti dostupne mehanizme koji obezbeđuju adekvatnu naknadu.
- Da li je definisan proces revizije od strane trećih lica koji obuhvata ispitivanje etičkih pitanja i mera praćenja odgovornosti?
o Da, i to:
o Ne
- Da li je organizovana obuka o rizicima korišćenja sistema veštačke inteligencije i odgovarajućem pravnom okviru?
o Da, i to:
o Ne
- Da li imate odbor koji se bavi etičkim pitanjima primene sistema veštačke inteligencije, ili sličan mehanizam kojim se obezbeđuje diskusija o odgovornosti i etičkim praksama?
o Da, i to:
o Ne
- Da li je uspostavljen mehanizam za diskusiju, kontinuirano praćenje i procenu doslednosti primene ovih Smernica za sistem veštačke inteligencije?
o Da
o Ne
- Da li predviđeni proces uključuje identifikaciju i dokumentovanje neusaglašenih stavova u vezi s različitim etičkim principima i objašnjenjima odluka?
o Da
o Ne
- Da li je sprovedena obuka lica uključenih u proces?
o Da
o Ne
- Da li je trećim licima (dobavljačima, krajnjim korisnicima, distributerima/prodavcima i dr) omogućena prijava potencijalnih ranjivosti, rizika i/ili diskriminacije u sistemu veštačke inteligencije?
o Da
o Ne
- Da li eventualne prijave ranjivosti, rizika i diskriminacije zahtevaju reviziju procesa upravljanja rizikom?
o Da
o Ne
- U slučaju činjenja štete pojedincima da li je uspostavljen mehanizam za obeštećenje?
o Da
o Ne
4.7.2. Preporuke
Preporuke za postizanje i unapređenje odgovornosti su:
- Kreirati pravila i politike koje su precizne i pristupačne dizajnerima i razvojnim timovima, kako ne bi bilo spornih pitanja u vezi sa zaduženjima i odgovornostima.
- Odrediti gde prestaje odgovornost onih koji su razvili Sistem. Ovo je posebno važno jer oni koji su razvijali Sistem neće imati kontrolu toga kako se on koristi.
- Voditi evidenciju o procesima dizajniranja, razvoja funkcionalnosti i načina na koji Sistem donosi odluke. Urediti ovu proceduru posebnim dokumentom.
- Uskladiti korišćenje i rezultat rada Sistema s propisima i međunarodnim standardima prilikom kreiranja Sistema.
- Konsultovati relevantna tela i organe u Republici Srbiji u vezi s pitanjima koja stvaraju nedoumice radi dobijanja stručnog saveta ili pomoći onih koji rade na kreiranju politike veštačke inteligencije u Republici Srbiji ili institucija koje vrše kontrolu sistema veštačke inteligencije.32
- U rad uključiti lica koja bi pomogla da se razumeju pravna i etička pitanja u holističkom pristupu (npr. sociologa, lingvistu, bihevioristu, profesore i sl.).
Primer odgovornosti.33 Tim koristi istraživače dizajna da kontaktiraju prave goste u hotelima kako bi putem intervjua licem u lice s korisnicima razumeli njihove želje i potrebe. Tim prihvata sopstvenu odgovornost u situaciji kada povratne informacije hotelskog asistenta ne ispunjavaju potrebe ili očekivanja gostiju. Oni su primenili petlju učenja s povratnom informacijom kako bi bolje razumeli preferencije i istakli mogućnost da gosti isključe veštačku inteligenciju u bilo kom trenutku tokom svog boravka.
Etičke smernice za razvoj, primenu i upotrebu pouzdane i odgovorne veštačke inteligencije pripremljene su s namerom da pruže okvir i usmere rad svih učesnika u ekosistemu veštačke inteligencije. U nedostatku čvršćeg pravnog okvira koji prve obrise dobija u Evropskoj uniji, ove Smernice omogućavaju dalji razvoj u ovoj oblasti čija se ekspanzija tek očekuje. Vodeći se načelima i principima navedenim u Smernicama, naglašava se da veštačka inteligencija treba da se koristi za dobrobit cele zajednice. Sistemi veštačke inteligencije treba da služe za održavanje i negovanje demokratskih procesa i poštovanje pluraliteta vrednosti i životnih izbora pojedinaca. Smernice daju osnov za širu primenu veštačke inteligencije u donošenju odluka pri oblikovanju socijalnih promena, povećavanju znanja i daljem ekonomskom napretku društva u celini.
_______
32 Za više informacija, posetiti sajt https://www.ai.gov.rs/
33 Primer preuzet sa: https://www.ibm.com/design/ai/ethics/accountability/