Selitykset lisäävät varmuutta, eivät välttämättä parempia päätöksiä
Pankin riskivalvoja katsoo ruutua: järjestelmä liputtaa korttitapahtuman ja tarjoaa vielä perusteet. ”Epäily: yöaika, uusi laite, poikkeava summa.” Selitys tuntuu järkeenkäyvältä. On houkuttelevaa uskoa, että tällainen perustelu auttaa tekemään paremman päätöksen eikä vain oikeuta sitä, mihin kone jo ohjasi.
Vuosia on ajateltu, että tekoälyn tuottamat ”selitykset” – listat syistä, jotka painoivat päätöstä – parantavat ihmisen työskentelyä. Alalle on kertynyt mittareita, joilla selitysten laatua arvioidaan: parempaa on, jos perustelulista on lyhyt ja napakka (”suppeus”) tai jos selitys muuttuessaan seuraa uskollisesti mallin käyttäytymistä (”uskollisuus”). Yhä useammin päätöksentekijät ovat alkaneet vaatia tällaisia selitettävyysominaisuuksia.
Tuore, laajaan käytännön testaukseen nojaava työ ehdottaa toista. Kun kahdeksan eri selitystapaa pantiin koetukselle riskienhallinnan arjessa – neljällä riskiaineistolla ja aidossa huijauksenestoympäristössä, jossa ammattilaiset käsittelivät 3 735 tapausta – selvisi, että numeriset laatumittarit eivät kerro, auttaako selitys ihmistä. Vielä hämmentävämpää: mikään testatuista selityksistä ei parantanut analyytikoiden osumatarkkuutta, vaikka ne tekivät heistä johdonmukaisesti itsevarmempia. Se on varoitusmerkki automaatiovinoumasta – taipumuksesta luottaa koneeseen liikaa, koska se kuulostaa vakuuttavalta.
Mitä aiemmin pidettiin itsestään selvänä, ei ehkä pidäkään
Selitysten perhe, jota tässä tarkasteltiin, pohjautuu ajatukseen ”osuuksien jakamisesta”: kuinka paljon kukin tekijä – kellonaika, laitetyyppi, ostosumma – ”ansaitsee” kiitosta tai syytöstä lopullisesta tuloksesta. Tämän voi toteuttaa monella tavalla, ja käytännössä kentällä elää kilpailevia muunnelmia. Siksi on syntynyt tarve yhteismitalliselle arviolle: mikä selitys on paras silloin, kun päätöksiä pitää tehdä nopeasti ja tulos vaikuttaa ihmisten rahoihin tai oikeuksiin.
Tässä koejärjestelyssä selityksiä tarkasteltiin sekä tietokoneen että ihmisten näkökulmasta. Koneen kannalta mitattiin juuri niitä tavallisia laatukriteereitä, joita alan kirjallisuus suosii: kuinka tiivis selitys on ja seuraako se tarkasti mallin toiminnan muutoksia. Ihmisten kannalta kysyttiin, kuinka selkeä ja hyödyllinen selitys on päätöksen tekemisen kannalta – ja vaikuttiinko oikeaan päätökseen.
Tulos oli kaksijakoinen. Ensinnäkin vakiintuneet numeeriset mittarit ja ihmisen kokema selkeys tai hyöty eivät kulkeneet käsi kädessä. Selitys saattoi olla mittarien mukaan erinomainen mutta silti ihmisen näkökulmasta moniselitteinen – tai päinvastoin. Toiseksi yksikään kahdeksasta muunnelmasta ei objektiivisesti parantanut ammattilaisten suoritusta huijausepäilyjen arvioinnissa. Siitä huolimatta selitykset kasvattivat analyytikoiden varmuutta omista päätöksistään.
Yksi konkreettinen tapa hahmottaa ristiriitaa on ajatella kahta ruudulla näkyvää perustelulistaa. Ensimmäinen on lyhyt ja painottaa kolmea syytä; toinen on pidempi ja kuvaa monia pieniä viitteitä. Suppeutta mittaava sääntö sanoisi, että lyhyempi on parempi. Kokeessa tällainen nyrkkisääntö ei kuitenkaan ennustanut, kumpi lista auttoi ihmistä päätymään useammin oikeaan tulokseen. Sama koski uskollisuutta: vaikka selitys seuraisi mallin toimintaa moitteettomasti, se ei automaattisesti tee ihmiselle päätöksestä parempaa.
Näiden tulosten paino tulee asetelmasta. Testaus tehtiin sellaisissa olosuhteissa, joita oikea työ edellyttää: päätöksiä piti tehdä vähäisellä viiveellä, ja mukana oli aitoja riskejä käsitteleviä ammattilaisia, ei vain laboratorio-oloissa toimivia koehenkilöitä. Tapausarvioita kertyi tuhansia. Tällainen asetelma tuo ilmi sen, mitä pelkät simulaatiot tai kauniit teoreettiset ominaisuudet eivät paljasta: millainen selitys todella auttaa ihmistä, joka kantaa vastuun väärästä hälytyksestä tai läpi päästetystä petoksesta.
Samalla havainnot herättävät kiusallisen kysymyksen. Jos selitykset eivät paranna osumatarkkuutta mutta lisäävät päättelijän itseluottamusta, onko riski, että väärä päätös tehdään entistä päättäväisemmin? Tuo on automaatiovinouman ydin. Se ei tarkoita, että selitykset olisivat turhia. Se tarkoittaa, että niiden vaikutus ihmiseen on vähintään yhtä tärkeä arvioida kuin niiden muoto koneen näkökulmasta.
Mitä tästä seuraa? Ainakin se, että nykyiset välilliset mittarit eivät riitä ennustamaan, millainen vaikutus selityksillä on tosielämässä. Tutkijat tarjoavat työnsä lopuksi käytännön ohjeita muunnelmien ja mittareiden valintaan operatiivisissa järjestelmissä. Yksityiskohtia tärkeämpää on periaate: selitysten arviointi on ihmiskeskeinen tehtävä, ei vain taulukko täynnä numeroita.
On syytä huomioida myös rajat. Tulokset koskevat nimenomaan yhtä selitystapojen perhettä ja korkean panoksen riskikonteksteja, kuten huijauksenestoa. Ne on saatu ammattilaisten työssään tekemistä tapausarvioista, ei kaikilta mahdollisilta toimialoilta tai kaikentyyppisiltä käyttäjiltä. Asetelma priorisoi pientä päätösviivettä, mikä rajaa pois pitkän pohdinnan ja kouluttautumisen vaikutukset. Eikä mikään näistä havainnoista väitä, että selitykset olisivat hyödyttömiä – vain sen, että hyöty ei synny itsestään eikä niistä numeroista, joihin olemme tottuneet tukeutumaan.
Silti viesti on selkeä: jos aiomme käyttää koneiden tuottamia perusteluja ihmisten työn tukena, meidän on testattava niitä ihmisten kanssa todellisissa tilanteissa. Sanallisesti vakuuttava selitys voi tuntua turvalliselta, mutta tukiiko se parempaa päätöstä vai vain rohkaisi huonoon? Ja kun yhä useampi päätös kietoutuu koneen suositukseen, kumpi pitäisi lopulta vakuuttaa – mallin mittari vai ihminen, joka katsoo ruutua?
Paper: https://arxiv.org/abs/2604.22662v1
Register: https://www.AiFeta.com
tekoäly selitettävyys riskienhallinta huijaukset päätöksenteko työ tietoturva
