Tekoälyavustaja voi olla oikeassa – ja silti huono asiakaspalvelija

Kun palvelu takkuaa, asiakas ei kaipaa esseetä vaan ratkaisun. Sähköposti, chat tai tukipyyntö voi kulkea monta kierrosta: kysymys, lisätieto, uusi yritys, taas tarkennus. Jokainen viive ja turha askel syö kärsivällisyyttä. Sama pätee tekoälyyn. Jos kielimalliin pohjautuva avustaja päättelee oikein mutta käy kiertotietä, kokemus on silti kehno.

Viime vuodet on totuttu arvioimaan tekoälyä kysymysten oikeellisuudella: vastasiko malli oikein? Uusi ehdotus kääntää painopistettä. Oikea vastaus ei yksin riitä, jos se tulee hitaasti tai raskaiden mutkien kautta. Asiakkaan näkökulmasta ratkaisevaa on, kuinka vähillä kierroksilla ja kuinka ripeästi ongelma ratkeaa.

Tätä väitettä tukee tuore kehikko, CirrusBench, joka on rakennettu aitojen pilvipalveluiden tukipyyntöjen varaan. Sen tekijät muistuttavat, että tavalliset testit ovat usein keinotekoisia: niissä ei näy todellisten asiakkaiden kirjava kieli, epäselvät kuvaukset tai se, että ongelman ratkaisu vaatii useiden työkalujen peräkkäistä käyttöä. CirrusBench yrittää säilyttää juuri nämä piirteet – monen viestin mittaiset loogiset ketjut ja riippuvuudet eri työkalujen välillä – ja mittaa menestystä asiakkaan kannalta olennaisilla mittareilla: tehokkuudella ja viiveellä.

Jännite on selvä. Aiemmin uskottiin, että kun malli oppii päättelemään oikein, se selviää myös käytännössä. CirrusBenchin kokeet kuitenkin näyttävät, että vaikka kärkimallit ovat vahvoja päättelyssä, ne takeltelevat monimutkaisissa, usean vaiheen tilanteissa eivätkä yllä tehokkuuden vaatimustasolle. Toisin sanoen: malli voi olla oikeassa, mutta väärällä tavalla – liian hitaasti, liian monella kokeilulla.

Yksi esimerkki auttaa. Kuvittele, että yrityksen pilvipalvelussa uusi palvelin ei käynnisty. Todellisessa tukitilanteessa avustajan pitäisi päättää, mitä kysyä ja mitä tehdä: pyytää tilinumero, tarkistaa käyttökiintiöt, vilkaista lokit, ehkä verrata aiempiin tiketteihin. Jos avustaja kysyy vääriä asioita, käyttää työkaluja väärässä järjestyksessä tai palaa samaan vaiheeseen yhä uudelleen, ongelma toki lopulta ratkeaa – mutta asiakas on odottanut turhaan. CirrusBench mittaa sekä sitä, päästäänkö maaliin, että sitä, kuinka suoraa reittiä maaliin kuljettiin (tekijöiden termein ”normalisoitu tehokkuusindeksi”) ja kuinka paljon kierroksia tai viivettä kertyy (”monikierrosten viive”).

Näiden mittareiden idea on arkipäiväinen, vaikka nimet kuulostavat teknisiltä. Hyvä palvelu ei ole vain virheetöntä, se on sujuvaa. Työkaluriippuvuuksien säilyttäminen testissä on olennainen yksityiskohta: aivan kuten korjaaja ei voi ruuvata pulttia ennen kuin on avannut suojakannen, tekoälyavustaja ei voi tarkistaa laskutusta ennen kuin sillä on oikeudet tai tarvittavat tunnisteet. Keinotekoisissa kokeissa nämä riippuvuudet usein katoavat, mikä tekee tehtävistä helpompia kuin todellisuus.

Uutuuden arvo ei ole se, että keksitään lisää numeroita, vaan että suunnataan katse siihen, mitä asiakkaat pitävät laatuna. CirrusBenchin tekijöiden mukaan juuri ”ratkaisun tehokkuus” jää usein arvioimatta, vaikka se on käytännön käyttöönotossa ratkaiseva. He alleviivaavat myös aitojen syötteiden arvaamattomuutta: oikeat tukipyynnöt ovat sotkuisia, pitkiä ja joskus harhaanjohtavia. Malli, joka loistaa siistissä luokkahuonekokeessa, voi kompuroida asiakasviestien sekamelskassa.

Kokeelliset havainnot ovat sikäli tylyjä, että ne koskevat aivan viime vuosien huippumalleja. Ne kyllä päättelevät hyvin, mutta eivät vielä yllä siihen ripeyteen ja varmuuteen, jota vaaditaan pitkissä, monivaiheisissa tehtävissä – juuri sellaisissa, joihin yritykset toivovat tekoälystä apua. Tämä ei tarkoita, että mallit olisivat hyödyttömiä, vaan että mittaristoa ja harjoittelua on säädettävä lähemmäs todellista käyttöä.

On myös syytä pitää pää kylmänä. Kehikko on rakennettu pilvipalveluiden asiakastukeen. Se tekee siitä realistisen tälle alalle, mutta ei vielä kerro, miten havainnot siirtyvät muihin ympäristöihin. Uudet mittarit ovat tekijöiden ehdotuksia: ne kohdistavat valon tehokkuuteen ja viiveeseen, mutteivät yksin ratkaise, miten mallit pitäisi kouluttaa tai millä kompromisseilla nopeus, täsmällisyys ja varovaisuus saadaan sopimaan yhteen. Lisäksi kehikko paljastaa ongelmia, muttei itsessään kerro, mistä ne johtuvat – ovatko juuret mallien päättelyssä, työkalujen käytössä vai tehtävien muotoilussa.

Silti suunta on selkeä. Jos haluamme, että tekoäly todella hoitaa pitkiä ja teknisiä palvelutilanteita, sitä pitää mitata sen mukaan. Pelkkä ”oikein/väärin” ei heijasta asiakkaan kokemusta. Arvioinnin pitäisi kysyä: kuinka monta turhaa askelta, kuinka monta odotushetkeä? Onko avustaja oppinut kysymään oikeat lisätiedot oikeaan aikaan, vai ryhtyykö se vastaamaan ennen kuin tietää tarpeeksi?

Sama ajatus ulottuu laajemmalle. Terveydenhuollon etävastaanotot, veroneuvonta, vakuutuskorvausten käsittely – kaikkialla, missä tehtävät ovat monivaiheisia ja ihmisten kärsivällisyys rajallista, tehokkuus on osa laatua. CirrusBench näyttää, että tätä voi mitata, ja että mittaaminen paljastaa puutteita, joita emme muuten näkisi. Se on tervetullut muistutus: kun tekoälystä tulee palvelun etulinjaa, kysymys ei ole vain siitä, saako se asian oikein, vaan saako se sen oikein ajoissa. Ja jos emme mittaa tätä, mistä tiedämme, milloin olemme perillä?

Paper: https://arxiv.org/abs/2603.28569v1

Register: https://www.AiFeta.com

tekoäly asiakaspalvelu pilvipalvelut tutkimus tehokkuus