Kun kone katsoo kuvaa, sen mielikuvitus yskii

Uusi testi osoittaa, että kuvista ymmärtävät kielimallit kompastuvat yhä tehtäviin, jotka ihmiset ratkaisevat vaistolla – ja se kertoo, mitä koneilta oikeasti vielä puuttuu.

Muistatko koulusta tehtävän, jossa piti päätellä, mikä kuvio sopii tyhjän ruudun paikalle? Neliö muuttuu ympyräksi, nuoli kääntyy, raita siirtyy yhdellä pykälällä – ja jostakin vaihtoehdoista löytyy sama sääntö. Moni ratkaisee tällaiset palapelit vaistonvaraisesti: katse haravoi, mieli pyörittää muotoja, säännöt kirkastuvat.

On helppo ajatella, että jos tekoäly osaa kuvata valokuvan sujuvalla suomenkielellä, se osaa myös tämän. Uudet näköä ja kieltä yhdistelevät mallit ovat saaneet huippupisteitä monissa testeissä. Silti niiden kyky tehdä "näköpäätelmää" – nähdä, mihin suuntaan kuvio on matkalla ja mitä pitäisi tapahtua seuraavaksi – on ollut hämärän peitossa.

Tuore tutkimus tuo tähän kirkkaamman valon. Tutkijat kokosivat monivalintaisen testipatterin nimeltä Mind’s Eye. Se sisältää kahdeksan erilaista visuaalista tehtävää, jotka ovat saaneet inspiraationsa perinteisistä älykkyystesteistä. Ydinajatuksena on mitata kolmea perusasiaa, joista ihmisen "silmämääräinen ajattelu" rakentuu: abstraktiota (alustavan säännön oivaltamista), suhteiden hahmottamista (miten osat liittyvät toisiinsa) ja muunnosta (kuvion kääntelyä tai muuttamista mielessä). Tätä kolmen kohdan jäsennystä tutkijat kutsuvat nimellä A–R–T – Abstraction, Relation, Transformation.

Kun testissä verrattiin ihmisiä ja joukon sekä avoimia että suljettuja tekoälymalleja, tulos oli hätkähdyttävä yksinkertaisuudessaan: ihmiset ylsivät 80 prosentin tarkkuuteen, parhaatkaan mallit eivät päässeet puoleen pisteistä. Se merkitsee, että koneen vastaus on usein lähempänä arvausta kuin oivallusta.

Miksi näin käy? Virheanalyysi tarjoaa kolme selitystä, jotka kuulostavat inhimillisiltä, mutta ovat koneelle yllättävän hankalia.

• Ensinnäkin mallit eivät aina katso oikeaan paikkaan. Ne jättävät huomiotta pieniä, mutta ratkaisevia yksityiskohtia – vaikka sen, että viiva ohenee ruutu ruudulta, tai että täplä siirtyy poikkeuksellisesti diagonaalisti, ei vaakaan.
• Toiseksi ne eivät vaikuta pystyvän "pyörittämään" kuvaa mielessään. Kun tehtävä vaatii kuvittelemaan, miltä sama kappale näyttäisi käännettynä, mallit sekoavat. Ihmiselle henkinen käännös on usein vaistonvarainen temppu.
• Kolmanneksi mallit takertuvat pintaan. Ne tunnistavat muotoja, mutta eivät yleistettävää ideaa niiden takana – abstraktia sääntöä, joka kertoo, mitä pitäisi tapahtua seuraavaksi.

Yksi konkreettinen esimerkki selventää eroa. Kuvittele kolme kuvaa peräkkäin: ensimmäisessä on musta neliö, toisessa sen tilalla on musta ympyrä, kolmannessa valkoinen neliö. Kysymys kuuluu: mikä tulee seuraavaksi? Ihminen huomaa usein rivakasti kaksi sääntöä: muoto vaihtuu neliöstä ympyräksi, ja väri vaihtuu mustasta valkoiseksi vuorotellen. Silloin vastaus on valkoinen ympyrä. Tekoälymalli saattaa kyllä nimetä neliön ja ympyrän oikein, mutta kompastua siihen, mikä muuttuu ja missä järjestyksessä – etenkin, jos mukana on jokin poikkeus tai harhautus.

Tutkimuksen ydinväite on jyrkkä mutta perusteltu: tämänhetkiset näkö–kielimallit eivät yltä ihmiselle tyypilliseen visuaaliseen päättelykykyyn. Ne ovat vahvoja silloin, kun pitää yhdistää sanoja ja näköhavaintoja tutuissa tilanteissa – kertoa, mitä kuvassa on – mutta paljon heikompia, kun tehtävä vaatii mielensisäisiä muunnoksia ja sääntöjen oivaltamista.

Miksi tällä on väliä? Siksi, että kielen ulkopuolinen päättely on osa monia arkipäiväisiä taitoja. Reitin hahmottaminen kartalta, ohjeen kuvitteleminen käytännössä, laitteen räjäytyskuvan tulkitseminen: kaikki nojaavat siihen, että näemme suhteita, päättelemme säännön ja muunnamme mielessämme näkemäämme. Jos tekoäly ei tähän yllä, se jää helposti avustajaksi, joka kuvailee maailmaa, mutta ei jäsennä sitä.

Onko kyseessä sitten vain uusi koe, jossa koneet sattuvat olemaan heikkoja? Tutkijat ehdottavat laajempaa johtopäätöstä: nykyiset vertailutestit painottavat liikaa sitä, mitä mallit jo osaavat. Siksi tarvitaan arviointitapoja, jotka mittaavat kognitiivisia perusprosesseja – ei vain kykyä nimetä asioita, vaan kykyä havaita säännön, sovittaa suhteen ja tehdä muunnos. Mind’s Eye on yksi tällainen yritys.

Silti on syytä lukea tuloksia maltilla. Yksi testipatteri mittaa vain sitä, mitä se mittaa. Tehtävät ovat monivalintoja, ja ne on suunniteltu tietyistä lähtökohdista, jotka on poimittu ihmisten älykkyystesteistä. Mallien puutteet voivat kertoa testin sisällöstä yhtä lailla kuin mallien kyvyistä. Eikä tutkimus väitä muuta: sen sanoma on ennen kaikkea, että tarvitsemme paremmin perusteltuja tapoja arvioida, mitä näkö–kielimalleissa oikeasti tapahtuu, kun ne katsovat kuvaa.

Jännite on siis selkeä: pitkään on ajateltu, että kun mallit loistavat tutuissa näkö–kielitesteissä, ne alkavat lähestyä ihmisen tapaa ymmärtää kuvia. Nyt ehdotetaan, että näin ei vielä ole. Ihmisen vahvuus on yhä siinä, että hän osaa kohdistaa huomion, hahmottaa säännön ja pyörittää mielessään muotoja – hiljaisia taitoja, joista koneilla on vasta aavistus.

Seuraava kysymys onkin käytännöllinen: jos haluamme koneen auttavan meitä maailmassa, joka on täynnä kuvia, kaavioita ja tilaa vaativia päätöksiä, miten opetamme sille nämä hiljaiset taidot – ja pitäisikö meidän mitata edistystä vähemmän sanoilla ja enemmän sillä, mitä mieli tekee, kun se katsoo?

Paper: https://arxiv.org/abs/2604.16054v1

Register: https://www.AiFeta.com

tekoäly kielimallit kuvat päättely tutkimus älykkyys arviointi