Zrelost etičnih in odgovornih modelov umetne inteligence
Vaše prakse odgovorne UI, izmerjene po tematskih področjih in prevedene v načrt poti.
10 tematskih področij, 5-stopenjska lestvica. In ukrep, ki popelje z vsake ravni na naslednjo.
10 tematskih področij referenčnega okvira, že pripravljenih od N1 do N5. Eno podjetje, ena poslovna enota, ali 300 hkrati.
Zrelost etičnih in odgovornih modelov umetne inteligence
10 tematskih področij, 5-stopenjska lestvica.
Nordhavn Industries
53 / 100
Svojo zrelost merijo z Datamensio
Primer
Ta situacija bi lahko bila vaša.
Vzemimo primer podjetja: tri lokacije, tri preglednice, brez skupnega odgovora.
Nihče ne zna združiti podatkov.
Nordhavn Industries, 2.400 zaposlenih v Hamburgu, Lyonu in Portu. Naročnik vpraša, kje stoji skupina. Vsaka lokacija odgovori v svoji preglednici, s svojimi lestvicami.
Tri tedne, ena sama osnova.
Diagnostika Okvir etične in odgovorne umetne inteligence (načela OECD, UNESCO, NIST AI RMF, v podporo ISO/IEC 42001) je bila hkrati sprožena na vseh treh lokacijah, na podlagi zapiskov z razgovorov z odgovornimi osebami. Referenčni okvir je bil že napisan, prav tako 10 tematskih področij in ravni od N1 do N5.
Dva izdatka, preprečena še pred odobritvijo.
Ocena 53 od 100, vrzel strnjena na treh področjih. UI spremljevalec je opazil, da se dva ukrepa iz načrta podvajata z ukrepoma iz druge presoje. Predstavitev rezultatov odboru je nastala z enim stavkom.
Kaj so s tem preprečili
- 3lokacije, merjene na isti osnovi, namesto treh vprašalnikov za ponovno obdelavo
- 2podvojena ukrepa, odkrita še pred izdatkom
- 1predstavitev rezultatov odboru, brez ročnega usklajevanja
Te številke so iz primera. Lahko bi bile vaše.
Standard nalaga procese. Datamensio pove, kje stojite.
01
Referenčni okvir je že napisan
Tematska področja, vprašanja in ravni od N1 do N5 so pripravljeni. Ne začnete s prazno preglednico.
02
Ocena je na voljo še isti dan
Prek spleta, s povezavo za samoocenjevanje ali med razgovorom. Po področjih, primerljivo skozi čas.
03
Vrzel postane ovrednoten načrt
Vsak prehod na naslednjo raven nosi svoj ukrep. UI razvršča glede na pričakovani učinek, ne glede na vrstni red standarda.
04
Napredek se da dokazati
Krog za krogom, glede na vaš cilj in glede na vašo preteklost. To zahteva vaš upravni odbor.
Lestvica zrelosti
Ena raven, naslednja, in ukrep, ki ju povezuje.
Prav ta mehanizem, raven, višja raven in ukrep, ki ju povezuje, spremeni ugotovitev v razvojno pot.
Ali se pristranskosti modelov testirajo in spremljajo skozi celoten življenjski cikel?
- N1
Noben test pristranskosti ni izveden. Tema se ob uvedbi modela v produkcijo sploh ne obravnava.
- N2
Testi se izvajajo občasno, na pobudo posamezne ekipe, brez skupne metrike in brez hranjenja rezultatov.
- N3
Protokol testiranja je opredeljen in se uporablja pred vsako uvedbo v produkcijo, z dokumentiranimi metrikami pravičnosti in arhiviranimi rezultati.
- N4
Testi se občasno ponavljajo v produkciji, odstopanja sprožijo sledljiv ukrep, rezultati pa so predstavljeni organu upravljanja.
- N5
Protokol in metrike se posodabljajo glede na izkušnje pri uporabi in incidente, z dokumentiranim spremljanjem sprememb in primerjavo med modeli skozi čas.
Ukrep za prehod z ravni 2 na raven 3
Opredeliti skupen protokol testiranja pristranskosti, z metrikami in populacijami, ki jih je treba zajeti, ga uvrstiti kot obvezno postajo v pregledu pred uvedbo v produkcijo ter arhivirati rezultate v kartici modela.
« Zahvaljujoč Datamensiu veliko učinkoviteje izpolnjujemo svoje cilje. Inšpekcijske službe sklada FEDER in našega pristojnega ministrstva so ta pristop še posebej cenile, saj jim prinaša zanesljive podatke. »
Direktorica CCI 94CCI Île-de-France

« Menimo, da gre za najprimernejšo rešitev za razširitev našega projekta preobrazbe in merjenje učinka skladno z našimi potrebami. »
Maja Sucekvodja poslovanja, Interreg Danube

Redko sam
Referenčni okvir se da kombinirati. Povežite več okvirov za pokritje svoje dejavnosti, ali pa svojega napišite z UI.
Opravite svojo prvo meritev
O čem govori ta referenčni okvir
Etična in odgovorna UI ni standard, temveč okvir praks, zgrajen na zdaj ustaljenih načelih: pravičnost in odsotnost diskriminacije, preglednost in razložljivost, dejanski človeški nadzor, robustnost in varnost, spoštovanje zasebnosti, opredeljena odgovornost, upoštevanje vplivov na okolje. Ta načela najdemo v priporočilih OECD in UNESCO, v okviru NIST AI Risk Management Framework in, v obliki sistema vodenja, v standardu ISO/IEC 42001. Opisujejo pričakovano ravnanje modelov in ekip, ki jih razvijajo, ne pa seznama izpolnjevalnih zahtev.
To je tisto, zaradi česar je temo težko voditi. Načela so soglasno sprejeta, njihovo izvajanje pa je neenakomerno od ekipe do ekipe in od modela do modela. Kdo odloči, da lahko model preide v produkcijo, in na podlagi katerih izmerjenih meril? Ali se pristranskosti preverjajo le enkrat pred začetkom uporabe ali se spremljajo skozi celoten življenjski cikel modela? Ali poslovni uporabnik ve, da je bila odločitev podprta z modelom, in na koga se obrniti za njen izpodboj? Večina organizacij zna odgovoriti za svoj izložbeni model, bistveno slabše pa za desetine modelov in primerov uporabe generativne UI, uvedenih mimo nadzora.
Prihod generativne UI je temo premaknil. Prakse odgovorne UI so bile sprva zasnovane za modele, razvite interno, na obvladovanih podatkih, z jasno opredeljenim življenjskim ciklom. Danes vse večji delež uporabe temelji na modelih zunanjih ponudnikov, vgrajenih v poslovna orodja, včasih aktiviranih mimo oddelka za informacijske sisteme. Vprašanje ni več zgolj, kako dobro zasnovati lastne modele, temveč kateri modeli se uporabljajo, kdo jih uporablja, za katere odločitve in s kakšno stopnjo nadzora. Pogosto se pojavi zmeda: odgovorna UI in regulativna skladnost se ne prekrivata. Slednja postavlja minimalni prag, prva pa opredeljuje način dela.
Diagnostika zrelosti odgovarja na drugačno vprašanje kot preprosto preverjanje da ali ne. Ne gre za ugotavljanje, ali listina obstaja, temveč na kateri ravni so prakse dejansko opremljene z orodji, ponovljive in spremljane. Vsako tematsko področje dobi oceno, vsaka vrzel glede na cilj sproži ukrep, umetna inteligenca Datamensio pa te ukrepe združi v prednostno razvrščen načrt poti, s stroškom, rokom in pričakovanim vplivom na oceno.
Referenčni okvir je pripravljen za takojšnjo uporabo in je v celoti vaš. Lahko prilagodite tematska področja, preoblikujete vprašanja, na novo opredelite ravni ali naročite, da umetna inteligenca zgradi različico, prilagojeno vaši panogi in vašim lastnim notranjim dokumentom, listini, politiki upravljanja modelov ali obstoječi presojevalni matriki.
Referenčni standard: Okvir etične in odgovorne umetne inteligence (načela OECD, UNESCO, NIST AI RMF, v podporo ISO/IEC 42001)
Ocenjevana tematska področja
Načela in strategija odgovorne UI
Obstoj formaliziranih načel, povezava s strategijo na področju podatkov in UI, podpora najvišjega vodstva, operativna uveljavitev v ekipah.
Upravljanje in odgovornosti
Organ za pregled primerov uporabe, opredeljene vloge, merila za prehod v produkcijo, odločanje o občutljivih primerih uporabe, eskalacija spornih primerov.
Popis in razvrstitev primerov uporabe
Popis modelov in primerov uporabe generativne UI, vključno s tistimi iz orodij tretjih ponudnikov, razvrstitev po stopnji tveganja in kritičnosti.
Učni podatki in kakovost
Izvor in licence podatkovnih zbirk, reprezentativnost, upravljanje osebnih podatkov, dokumentacija obdelav, sledljivost različic.
Pravičnost in obravnava pristranskosti
Izbrane metrike pravičnosti, testirane populacije, protokol testiranja pred uvedbo, občasno ponovno ocenjevanje, dokumentirani korektivni ukrepi.
Preglednost in razložljivost
Obveščanje zadevnih oseb, dokumentacija modelov, zmožnost pojasniti posamezno odločitev, poti za pritožbo in izpodbijanje.
Človeški nadzor
Raven človeškega posredovanja glede na kritičnost, usposabljanje odgovornih oseb, dejanska zmožnost zavrniti priporočilo, sledljivost ponovnih prevzemov nadzora.
Robustnost in varnost modelov
Obremenitveni testi, obvladovanje odstopanj, nadzor dostopa do modelov in podatkov, upoštevanje napadov na vhodne podatke in pozive.
Spremljanje v produkciji in življenjski cikel
Kazalniki, spremljani po uvedbi, zaznavanje poslabšanja delovanja, postopek umika modela, občasen pregled aktivnih primerov uporabe.
Kultura, kompetence in vpliv na okolje
Ozaveščanje poslovnih enot, nadgrajevanje kompetenc tehničnih ekip, upoštevanje porabe virov, izbira uporabljenih modelov.
Krajša različica referenčnega okvira obsega 32 vprašanj in je na voljo za spletno samoocenjevanje.
Pogosta vprašanja
Ali je etično in odgovorno UI mogoče certificirati?
Ne, gre za okvir praks in ne za standard, ki bi ga bilo mogoče certificirati. Organizacija, ki želi certificirljiv sistem, se obrne na ISO/IEC 42001, ki strukturira sistem vodenja umetne inteligence. Ta diagnostika meri zrelost praks in predstavlja temelj, ki ga je mogoče ponovno uporabiti za ta namen.
V čem je razlika od diagnostike o evropski uredbi o umetni inteligenci?
Regulativni okvir določa obveznosti glede na stopnjo tveganja sistemov. Odgovorna UI pokriva širše področje: način zasnove, uvajanja in spremljanja modelov, tudi za primere uporabe, ki ne sodijo pod nobeno obveznost. Obe diagnostiki se srečata v skupnem načrtu poti, ne da bi podvajali ukrepe.
Koliko časa traja ocenjevanje?
Kratka različica se izpolni v eni sami delovni seji. Celovita različica, v sodelovalnem načinu z več sodelujočimi, traja od enega do dveh tednov: večina časa se porabi za zbiranje podatkov od podatkovnih ekip, poslovnih enot in oddelka za informacijske sisteme.
Ali je za odgovarjanje potrebno tehnično znanje?
Vprašanja se nanašajo na prakse upravljanja in vodenja življenjskega cikla, ne na arhitekturo modelov. Nanje lahko odgovori vodja upravljanja umetne inteligence ali vodja podatkovnega projekta. Nekatera vprašanja zahtevajo prispevek podatkovnega znanstvenika: sodelovalni način omogoča, da se jih dodeli neposredno pravi osebi.
Ali je mogoče referenčni okvir prilagoditi našemu okolju?
Da. Tematska področja, vprašanja in ravni je mogoče spreminjati, dodate pa lahko tudi lastna področja. Umetna inteligenca lahko tudi zgradi različico na podlagi vaše listine, politike upravljanja modelov ali obstoječih presojevalnih matrik.
Kako primerjati več poslovnih enot?
Vsaka enota se ocenjuje po istem referenčnem okviru, kar omogoča primerjavo ocen po tematskih področjih. Primerjalna analiza umesti enoto glede na druge in glede na lastna pretekla ocenjevanja. Skupni načrt poti nato združi akcijske načrte več diagnostik.
Ali je akcijski načrt finančno ovrednoten?
Da. Vsaka vrzel glede na cilj sproži ukrep, katalog storitev pa tem ukrepom priredi rešitev, s stroškom, rokom in pričakovanim vplivom na oceno. Načrt poti umetna inteligenca razvrsti po prednostih, nato pa se vodi do izvedbe.
Kje so podatki shranjeni?
V Franciji, pri ponudniku OVH, z varnostno kopijo pri Scaleway. Brez prenosa podatkov zunaj Evropske unije. Modeli umetne inteligence, uporabljeni v platformi, so lahko izbrani, tudi med evropskimi rešitvami.





