Tekoäly uskoo huijaria, vaikka opastat sen perille
Kaikki tietävät pelikaverin, joka vakuuttaa tekevänsä yhteistä tehtävää, mutta vilahtaa kuin vahingossa sabotaasin luota. Ihmispelaajat haistavat juonen usein nopeasti. Tekoäly ei välttämättä haista – ja toisinaan se jää vieläpä törmäilemään seiniin.
Viime vuosina on totuttu ajatukseen, että suuret kielimallit ovat paitsi sujuvia keskustelukumppaneita myös pian ketteriä toimijoita: ne suunnittelevat, tekevät ja neuvottelevat muiden kanssa. Uusi pelimäinen koealusta piirtää tästä lupauksesta hillitymmän kuvan. Kun malleja pyydetään toimimaan virtuaalisessa ryhmässä, ne kamppailevat kahden perustaidon kanssa: reitin löytämisen ja valehtelijan tunnistamisen.
Tutkijaryhmä esittelee SocialGrid-nimisen ympäristön, joka muistuttaa suositun Among Us -pelin asetelmaa. Useat tekoälyhahmot liikkuvat samassa virtuaalimaailmassa, hoitavat askareita ja yrittävät selvittää, kuka sabotoi. Tarkoitus ei ole viihdyttää vaan testata kolmea kykyä yhtä aikaa: suunnittelua, tehtävien suorittamista ja sosiaalista päättelyä – arkikielellä ymmärrystä siitä, miten toiset toimivat ja miksi.
Jännite on selvä. Vielä hetki sitten uskottiin, että kun mallit kasvavat ja saavat lisää dataa, ne oppivat myös monimutkaisempia pelisääntöjä. SocialGridin tulokset kertovat toista. Tutkijoiden mukaan jopa testin vahvin avoin malli (GPT-OSS-120B) pääsi vain alle 60 prosentin tarkkuuteen tehtävien hoidossa ja suunnittelussa. Hahmot jäivät jumiin toistuviin kaavoihin tai epäonnistuivat yksinkertaisissa esteissä – aivan kuin kartta olisi kädessä, mutta silti kompastuisi kynnykseen.
Tämä on ongelma, jos halutaan mitata sosiaalista ymmärrystä. Jos tekoäly ei pääse paikalle, on vaikea sanoa, eikö se ymmärtänyt ihmisten aikeita vai vain reittiä. Siksi SocialGridissä on poikkeuksellinen apuväline: niin kutsuttu suunnittelu-orakkeli. Se antaa hahmolle valmiit ohjeet, miten liikkua ja mitä tehdä seuraavaksi. Ajatuksena on irrottaa ajattelusta jalkatyö – ikään kuin joku kuiskaisi korvaan, mihin suuntaan käännytään, jotta tekoälyn tarvitsee käyttää päänuppiaan vain siihen, kuka pelaajista on epäilyttävä.
Kun liikkumisen vaiva poistettiin, tehtävien loppuun saattaminen parani. Silti pullonkaula jäi: sosiaalinen päättely. Tutkijoiden mukaan mallit epäonnistuivat huijauksen havaitsemisessa lähes sattumanvaraisesti, mittakaavasta riippumatta. Ne eivät keränneet käyttäytymisestä pitävää näyttöä vaan turvautuivat pintapuolisiin nyrkkisääntöihin – esimerkiksi epäilemään viimeksi nähtyä tai lähintä hahmoa.
Yksi konkreettinen esimerkki valaisee ongelmaa. Kuvitellaan käytävä, jossa kaksi hahmoa kulkee eri suuntiin. Hetkeä myöhemmin läheltä löytyy sabotaasi. Ihmispelaaja punnitsisi, kuka oli lähellä milloinkin, kuka valehteli olinpaikastaan ja mitä aiemmin on tapahtunut. SocialGridin kokeissa mallit tarttuivat usein heikoimpaan vihjeeseen: “lähin on todennäköisin” – vaikka vahvempi selitys olisi ollut toisaalla. Se on kuin etsivä, joka katsoo vain lähimmän oven taakse, ei talon kerroshistoriaa.
Tulos on kiinnostava kahdesta syystä. Ensiksi se kertoo, että tekniset kompastuskivet – navigointi ja tehtävien pilkkominen – sotkevat helposti kuvan siitä, mitä tekoäly todella “ymmärtää” sosiaalisesta pelistä. Toiseksi se vihjaa, että vaikka liikkuminen ja suunnittelu ulkoistetaan, mallit eivät vielä tee ihmiselle tyypillistä tilannekuvaa, jossa havainnot kertyvät todisteiksi.
SocialGrid ei ole vain koe, vaan myös työkalu kehittäjille. Se kirjaa automaattisesti, missä kohtaa hahmo kompastuu: toistaako se samaa komentoa, eksyykö nurkkaan, vai tekeekö hätiköidyn syytöksen ilman näyttöä. Mittarit ovat yksityiskohtaisia, ja kilpailuhenkisille on tarjolla tulostaulukko: vastakkainasetteluista lasketaan Elo-pisteet shakin tapaan. Ajatuksena on, että heikkoudet voidaan paikantaa ja korjata järjestelmällisesti – ennen kuin mallit päätyvät vaativampiin tehtäviin.
Miksi tämä on tärkeää myös ruudun ulkopuolella? Koska sama peruskaava toistuu kaikkialla, missä tekoälyn odotetaan toimivan yhdessä muiden kanssa: työkalujen ohjaamisesta ryhmätyöhön, ehkä joskus roboteista kotona tai tehtaassa. Jos malli ei pysty seuraamaan tilannetta, pitämään kirjaa siitä, kuka teki mitä ja milloin, tai epäilemään uskottavasti huonoja selityksiä, se voi olla sujuva keskustelija mutta huono työpari.
On reilua mainita rajoitukset. SocialGrid on simulaatio, pelistä inspiroitunut hiekkalaatikko. Tulokset kertovat ennen kaikkea siitä, miten testatut mallit käyttäytyivät juuri näissä tilanteissa. “Huijaus” ja “tehtävä” ovat ympäristön määrittelemiä ilmiöitä, eivät todellisia työpaikkoja tai perhe-elämää. On mahdollista, että toisenlaiset mallit, koulutusmenetelmät tai lisämuisti parantaisivat suoritusta. Silti havainto pysyy: kun liikkumisen ongelmat siivotaan pois, jäljelle jää edelleen tehtävä, jonka ihmiset hallitsevat vaistonvaraisesti ja mallit huonosti – toisten aikeiden lukeminen.
Ehkä seuraava edistysaskel ei synny suuremmista malleista vaan paremmasta tavasta kerätä ja punnita näyttöä, vähän kuin hyvä toimittaja tai rikostutkija tekee. Tai ehkä tarvitsemme kokonaan uusia ideoita siitä, miten tekoäly rakentaa käsityksen toisten mielistä. Sillä jos kone ei opi epäilemään uskottavasti pelissä, miten se tekee sen maailmassa, jossa panokset ovat korkeammat?
Paper: https://arxiv.org/abs/2604.16022v1
Register: https://www.AiFeta.com
tekoäly kielimallit sosiaalinen-paately pelit tutkimus
