Ihmisten tekemä opetusdata elää tekijöidensä mukana
Moni kuvittelee, että tekoälyn opetusdata on kuin mittanauha: kerran kalibroitu ja aina samalla tavalla toimiva. Arkisemmin sen huomaa vaikkapa silloin, kun sovellus kysyy, onko viesti ystävällinen vai vihamielinen – vastaus kirjataan järjestelmään, ja äly ottaa opikseen. Mutta entä jos mitta itse venyy? Entä jos ihmiset, jotka tekevät näitä päätöksiä, muuttuvat työn myötä – ja muuttavat samalla myös tekoälyn oppimaa maailmaa?
Perinteinen ajatus on ollut, että ihmisten tekemät merkinnät ovat ”kultainen totuus”. Ne kelpaavat mittapuuksi, jonka varaan mallit opetetaan, testataan ja julkaistaan. Uusi tutkimus kuitenkin ehdottaa jotain vähemmän mukavaa mutta todenmukaisempaa: itse merkintätyö näyttää kouluttavan merkitsijöitä. Kun heidän käsityksensä ilmiöstä terävöityy, myös tulkinnat alkavat elää. Se, mitä eilen pidettiin pelkkänä keskusteluna, saatetaan huomenna nähdä vaikuttamisyrityksenä. Ja jos ihmiset muuttuvat, muuttuu myös data – ja sen mukana mallit, jotka dataa seuraavat.
Todisteita tästä on nyt koottu järjestelmällisesti. Tutkijat pyysivät 25 ihmistä viidestä eri ryhmästä – mukana sekä asiantuntijoita että maallikoita – tulkitsemaan 1 021 lyhyttä keskustelua. Tehtävä oli tunnistaa keskusteluista sosiaalisen vaikuttamisen keinoja, sekä arvioida puhujien aikeita, kuulijoiden reaktioita ja seurauksia. Jotta muutosta voisi mitata, 150 tekstiä annettiin samoille ihmisille kahdesti: heti alussa ja uudestaan urakan jälkeen.
Muodon vuoksi ei tyydytty vain numeroihin. Aineistoa analysoitiin määrällisesti ja laadullisesti, merkitsijöitä haastateltiin puolistrukturoidusti, he arvioivat osaamistaan itse – ja lisäksi samoilla merkinnöillä koulutettiin ja testattiin suuria kielimalleja. Näin nähtiin, muuttuuko paitsi ihmisten luottamus itseensä myös se, millaista oppia koneet heidän työstään saavat.
Tulokset vetävät yhteen kaksi ilmeistä havaintoa. Ensiksi, ihmiset kokivat osaamisensa ja varmuutensa kasvaneen selvästi. Toiseksi, myös itse data muuttui: merkintöjen laatu siirtyi suuntaan, joka viittaa siihen, että prosessi todella kartutti taitoa. Muutos näkyi erityisesti asiantuntijaryhmissä. Eikä kyse ollut vain ihmisistä: myös kielimallit käyttäytyivät eri tavoin sen mukaan, oliko ne opetettu urakan alun vai lopun merkinnöillä.
Konkreettinen esimerkki auttaa hahmottamaan vaikutusta. Kuvitellaan, että merkitsejä saa eteensä lyhyen viestinvaihdon. Alussa hän näkee siinä enimmäkseen tietojen vaihtoa eikä katso, että puhuja yrittää vaikuttaa kuulijaan. Viikkoja myöhemmin, kymmenien vastaavien tapausten jälkeen, sama henkilö saattaa huomata vivahteita, jotka aiemmin jäivät pimentoon: sävyjä, sanajärjestyksiä tai seurauksia, jotka paljastavat tarkoitushakuisuuden. Kun yhä useampi tekee saman havainnon, ”rajapyykki” sen välillä, mikä on vaikutusyritys ja mikä ei, siirtyy. Vastaavasti malli, joka oppii varhaisista tulkinnoista, päätyy toisenlaiseen käsitykseen todellisuudesta kuin malli, joka oppii myöhemmistä.
On helppo nähdä, miksi tämä on tärkeää. Jos data elää tekijöidensä mukana, niin myös mallit elävät. Tämä voi olla hyvä asia: mitä taitavammiksi ihmiset tulevat, sitä johdonmukaisempaa ja harkitumpaa on opetusmateriaali. Samalla syntyy kiusallinen ongelma toistettavuuden kanssa. Jos ”totuus” liikahtaa, kuinka verrata eri aikoina koulutettuja malleja? Ja mitä tapahtuu, jos järjestelmä nojaa kriittisissä tehtävissä – vaikkapa asiakaspalvelun päätöksissä tai sisällön moderoinnissa – rajoihin, jotka ovat liukuvia?
Tutkimus ei väitä enempää kuin mihin sen aineisto yltää, ja se on hyvä pitää mielessä. Tehtävä oli rajattu: sosiaalisen vaikuttamisen tunnistaminen keskusteluista on vaikea ja tulkinnanvarainen aihepiiri. Osallistujia oli 25, ja ennen–jälkeen-vertailu perustui 150 tekstiin. Ihmisten oma arvio osaamisestaan on vain yksi mittari, vaikka sitä tuettiin myös havaituilla muutoksilla datassa. Eikä mallien erilainen käyttäytyminen vielä kerro, kumpi opetusvaihe tuotti ”oikeamman” vastauksen – ainoastaan, että ero on olemassa ja sillä on merkitystä.
- Yleistettävyys on auki: pätevätkö havainnot muihin tehtäviin ja kieliin?
- Aikajänne on rajallinen: kuinka pysyväksi opittu taito jää?
- ”Parempi laatu” on varovainen johtopäätös: mitä kulloinkin pidetään laadukkaana, riippuu tehtävän määritelmästä.
Silti viesti on selvä: kun rakennamme tekoälyjärjestelmiä ihmisarvioiden varaan, rakennamme myös ihmisten kehittymisen varaan. Sen voi kääntää vahvuudeksi. Merkintätyöstä kannattaa ajatella oppimisena, ei pelkkänä tuotantona. Se tarkoittaa esimerkiksi selkeitä ohjeita, palautekierroksia ja sitä, että osaa aineistosta merkitään uudelleen myöhemmin – ei siksi, että aiempi työ oli turhaa, vaan koska raja-aidat tarkentuvat. Samalla pitäisi raportoida avoimesti, milloin ja millä kokemuksella data on syntynyt. Se tekisi mallien tulkinnasta reilumpaa myös niille, jotka eivät ole olleet paikalla, kun rajoja vedettiin.
Lopulta kyse on laajemmasta kysymyksestä kuin yhden tutkimuksen asetelma. Jos ”kultainen totuus” on ihmisten yhdessä tuottama, ja ihmiset oppivat tehdessään, kuka määrittelee, milloin totuus on valmis – ja pitäisikö sen olla?
Paper: https://arxiv.org/abs/2604.02951v1
Register: https://www.AiFeta.com
tekoäly data ihmistekijät kielimallit tutkimus
