Tekoäly pelaa paremmin, kun se kuvittelee tulevaa
Hyvä strategiapelaaja tekee päätöksiä asioista, joita hän ei näe. Kun vihollisen tukikohta on sumun peitossa, päätös laajentaa omaa tukikohtaa tai rakentaa lisää puolustusta perustuu kuvitteluun: mitä todennäköisesti tapahtuu seuraavaksi?
Tekoälyltä on pitkään odotettu samaa taitoa. Usein koneet ovat kuitenkin valinneet siirtonsa lähinnä sen perusteella, mitä ne näkevät juuri nyt. Uusi tutkimus StarCraft II -pelistä ehdottaa toisenlaista tapaa: ennen päätöstä kone rakentaa itselleen arvion tulevasta ja kokeilee suunnitelmaansa mielessään. Vasta sitten se päättää, mitä tekee.
Ajatus kuulostaa arkiselta – ihmiset tekevät näin koko ajan – mutta koneille se on ollut hankalaa. StarCraft II on tähän sopiva koealusta: pelissä on valtavasti mahdollisia tilanteita, ja suuri osa kartasta on piilossa. Se pakottaa arvaamaan, mitä vastustaja tekee.
ArXivissa julkaistu työ esittelee StarWM-nimisen järjestelmän, joka antaa kielimalliin perustuvalle pelibotille ”maailmanmallin” – sisäisen tavan ennustaa, miltä maailma näyttää seuraavaksi eri valintojen seurauksena. Sen sijaan, että botti vain ehdottaisi siirtoa, se myös arvioi, mitä todennäköisesti tapahtuisi, jos siirto tehtäisiin, ja voi sen perusteella muokata päätöstään.
Vertailukohtana ovat aiemmat kielimallipohjaiset pelaajat, jotka on opetettu tekemään järkeviä siirtoja suoraan pelin nykytilanteesta. Ne voivat näyttää fiksuilta keskustelukumppaneilta, mutta ilman käsitystä tapahtumien kulusta ne ovat kuin kuljettaja, joka katsoo vain tuulilasia muttei koskaan peileihin.
Uuden työn ydin on kahdessa osassa. Ensin tutkijat jäsensivät pelinäkymän tekstimuotoon selkeiksi osa-alueiksi – sellaisiksi, joita malli voi käsitellä ja joista se voi päätellä, mitä puuttuu. Tämän jälkeen he opettivat mallia aineistolla, joka kertoo, miten peli yleensä kehittyy: jos teet näin, millaisia havaintoja seuraavaksi todennäköisesti saat. Tätä varten he rakensivat erityisen opetusaineiston nimeltä SC2-Dynamics-50k.
Jotta kyse ei olisi vain hienosta ideasta paperilla, järjestelmää testattiin kahdella tavalla. Ensin katsottiin irrallaan pelaamisesta, kuinka hyvin malli osaa ennustaa tulevaa. Tulokset parantuivat vertailumalleihin nähden selvästi: resurssien ennusteet tarkentuivat lähes 60 prosenttia, ja myös oman puolen kokonaistilanteesta tehdyt arviot pysyivät johdonmukaisempina. Sitten malli kytkettiin oikeaan päätöksentekoon. Kun maailmanmalli otettiin mukaan osaksi pelibotin rutiinia – ensin suunnittele, sitten kokeile mielessä, lopuksi viilaa päätöstä – voittoprosentti nousi StarCraftin sisäänrakennettuja vastustajia vastaan tasoilla Hard, Harder ja VeryHard. Nousu oli tasoittain 30, 15 ja 30 prosenttia. Lisäksi pelaaminen näytti vakaammalta pitkän tähtäimen taloudenpidossa ja varovaisemmalta, kun riski oli korkea.
Miltä tämä näyttää käytännössä? Kuvitellaan yksinkertainen tilanne: pelaajalla on mahdollisuus perustaa uusi tukikohta tai käyttää samat resurssit puolustuksen vahvistamiseen. Perinteinen malli valitsisi todennäköisesti laajentamisen, jos nykyinen näkymä näyttää rauhalliselta. Maailmanmallilla varustettu botti tekee toisin: se ”pyörittää mielessään” vaihtoehtoja. Jos vihollinen on todennäköisesti keräämässä joukkoja hyökkäykseen, laajentaminen juuri nyt voi johtaa tukikohdan menetykseen hetken päästä. Jos taas vihollinen on hajallaan, laajennus maksaa itsensä takaisin. Ennusteesiirtymä ei ole varma totuus, mutta se antaa syyn korjata kurssia ennen kuin on myöhäistä.
Miksi tämä on tärkeää pelien ulkopuolella? Siksi, että sama ongelma – päätösten tekeminen puutteellisella tiedolla – on kaikkialla. Liikenteessä, logistiikassa ja robotiikassa koneet joutuvat arvaamaan, mitä seuraavaksi tapahtuu, ja valitsemaan toimintansa sen mukaan. Tutkimus ei todista, että yksi StarCraftiin rakennettu malli ratkaisisi nämä haasteet. Se kuitenkin tarjoaa todisteen yhdestä periaatteesta: tekoälyn päätöksenteko paranee, kun sille annetaan työkalut kuvitella tuleva ja tarkistaa omat suunnitelmansa sitä vasten.
On silti syytä olla varovainen. Tulokset on mitattu yhdessä pelissä ja nimenomaan sitä varten rakennetulla aineistolla. Vertailu tehtiin pelin omaa tekoälyä vastaan, ei ihmispelaajia tai muita huippubotteja vastaan. On myös avoinna, kuinka hyvin järjestelmä toimii kartoilla, tilanteissa tai peleissä, joita se ei tunne – tai ympäristöissä, joissa tulee vastaan käsittämättömiä yllätyksiä. Malli ennustaa havaintoja, ei todellisuutta sinänsä; siksi väärä ennuste voi ohjata harhaan juuri silloin, kun panokset ovat korkealla. Lisäksi sisäisen ”mielikuvituksen” pyörittäminen vie aikaa ja laskentatehoa, mikä ei aina sovi nopeasti muuttuvaan tilanteeseen.
Silti suunta on kiinnostava. Tähän asti kielimallit ovat olleet ennen kaikkea sujuvia selittäjiä. Nyt niitä opetetaan myös varautumaan siihen, mitä ei näe. Jos kone oppii ensin kuvittelemaan ja vasta sitten toimimaan, voisiko se tehdä vähemmän hätäisiä ja enemmän harkittuja valintoja myös oikeassa maailmassa? Ja jos vastaus on kyllä, missä ihmisen ja koneen yhteispeli tuottaa parhaat ennusteet siitä, mitä seuraavaksi kannattaa tehdä?
Paper: https://arxiv.org/abs/2602.14857v1
Register: https://www.AiFeta.com
tekoäly kielimallit pelit StarCraft tutkimus päätöksenteko
