Tekoälykuvien pahin kompastuskivi on ollut sijainti – nyt sitä mitataan tarkasti

Jos pyydät tekoälyä piirtämään kuvan, jossa punainen muki on sinisen kirjan päällä vasemmassa alakulmassa ja vihreä kynä oikealla, lopputulos on usein kuin kiireessä katettu pöytä: tavarat ovat suunnilleen siellä päin, värit melkein oikein – mutta muki löytyy keskeltä, kirja kääntyy nurin ja kynä unohtuu taustalle. Yksityiskohdat eivät pysy paikoillaan.

Vuosien ajan tekstistä kuviksi -järjestelmien kehitystä on arvioitu siitä, vastaavatko kuvat suurin piirtein pyyntöä: onko koira kuvassa, näyttääkö meri mereltä, onko valo miellyttävä. Sijainti ja tarkat suhteet – mikä on vasemmalla, mikä oikealla, mikä päällä, mikä alla – ovat jääneet toissijaisiksi. Uusi tutkimus ehdottaa, että juuri näitä kannattaisi alkaa mitata ja palkita, jotta kuvat olisivat järkeviä myös tilan suhteen.

Tutkijat esittelevät lähestymistavan, joka toimii kuin ankara mutta reilu tuomari. He eivät pyydä kuvanluontimallia arvaamaan, osuiko se oikeisiin paikkoihin, vaan tarkistavat sen ulkopuolisilla välineillä. Menettely on kolmiosainen.

• Ensin pyyntö pilkotaan: järjestelmä purkaa lauseesta olennaiset asiat – mitkä esineet, millaiset ominaisuudet (kuten väri) ja mitä tilallisia vihjeitä (vasen, oikea, edessä, takana) pyyntö sisältää.
• Sen jälkeen kuvaa katsotaan “asiantuntijasilmillä”: erikoistuneet tunnistimet etsivät kuvasta pyydetyt kohteet, niiden värit ja sijainnit. Ne antavat konkreettisia havaintoja, kuten “punainen muki löytyi vasemmasta alakulmasta”.
• Lopuksi kuvaa ja tekstiä ymmärtävä malli käy läpi nämä havainnot ja päättelee, täyttyvätkö myös hankalammat suhteet, joita ei voi helposti tarkistaa yhdellä säännöllä. Tällaisia ovat vaikkapa “kissa on koiran edessä” tai “kylttiin on kirjoitettu teksti keskelle”.

Tärkeä ero aiempaan on se, että palaute kuvantekijälle on todennettavissa. Se ei perustu vain yleisvaikutelmaan, vaan siihen, mitä kuvasta todella löydetään. Näin kuvantekomallia voidaan opettaa vahvistusoppimisella: kun se asettaa esineet oikein, se saa palkinnon; kun se erehtyy, palkinto jää tulematta.

Jotta edistystä voisi mitata, tutkijat kokosivat myös testipatteriston. Se kattaa neljä arkista mutta sitkeää ongelmaa: esineiden ominaisuudet (onko väri oikein), suunta ja asento (katsoiko hahmo vasemmalle vai oikealle), esineiden väliset suhteet (kumpi on kumman päällä, sisällä tai edessä) sekä renderöidyn tekstin paikka kuvassa. Ajattele vaikkapa mainosta, jossa toivotaan “HELSINKI”-teksti keskelle kylttiä – tähän asti teksti on usein harittanut reunoille tai väärään kulmaan.

Menetelmää kokeiltiin kahden tunnetun kuvageneraattorin, Stable Diffusionin ja FLUXin, kanssa. Kun uusi palkitsemistapa kytkettiin osaksi opetusta, kuvat toistuivat ihmisten arvioiden mukaan tilallisesti johdonmukaisempina – ja samalla myös yleinen laatu parani. Parannus ei siis rajoittunut pelkkään “vasen–oikea”-voimisteluun, vaan kurinalaisempi sommittelu näytti tukevan koko kuvan eheyttä.

Yksinkertainen esimerkki kertoo, mitä tämä tarkoittaa käytännössä. Pyydät: “sininen pallo vasemmalla, punainen pallo sen takana”. Tavanomainen malli saattaa piirtää pallot kyllä, mutta sijoittaa punaisen eteen tai vaihtaa värit. Uuden palkkiomallin kanssa kuva tarkistetaan: löytyykö kaksi palloa, ovatko värit oikein, onko sininen pallon kuvajainen edessä suhteessa punaiseen? Vasta kun nämä ehdot täyttyvät, malli saa kiitoksen ja oppii todennäköisemmin tekemään saman oikein myös seuraavalla kerralla.

Rajoituksia on silti syytä alleviivata. Menetelmä nojaa esineiden tunnistimiin ja niiden kykyyn “nähdä” oikein. Jos kuva on hyvin tyylitelty, jos kohde on harvinainen tai jos esineet peittävät toisensa, tunnistin voi erehtyä – ja silloin myös palkinto ohjaisi kuvantekijää väärään suuntaan. Lisäksi monia arjen ohjeita on vaikea naulata täsmällisiksi tarkistuksiksi: mitä tarkoittaa “lähellä”, “hieman vinossa” tai “keskipainoinen”? Tällaiset pehmeät käsitteet asettavat haasteita automaattiselle arvioinnille.

Toinen avoin kysymys on opettamisen sivuvaikutus. Kun palkinto tulee tietyistä tarkistettavista asioista, malli voi oppia miellyttämään juuri näitä mittareita – ehkä jopa keksimään oikoteitä, jotka huijaavat tunnistimia mutta näyttävät ihmisestä oudoilta. Tutkijat huomauttavatkin, että palkkioiden todennettavuus on vahvuus juuri siksi, että se tekee optimoinnista hallittavampaa. Silti tarvitaan varovaisuutta, jotta opetus ei kavennu liian kapeaksi kisaksi mittaria vastaan.

Vaikka kyse on yksityiskohdista, panos on laaja. Luotettavat sijainnit ja suhteet ovat tärkeitä kaikessa, missä kuvalla halutaan välittää selkeä ohje tai rakenne: oppimateriaaleissa, käyttöohjeissa, mainoksissa – tai vaikkapa silloin, kun käyttäjä yrittää sommitella julisteen elementtejä tekstillä. Jos järjestelmä ymmärtää, että “logo vasempaan yläkulmaan, kuva alle ja osoite keskelle”, syntyy vähemmän arvailua ja vähemmän korjailua.

Isommassa kuvassa hanke on osa laajempaa suuntaa: tekoälylle pyritään antamaan mitattavia, läpinäkyviä tavoitteita, ei pelkkiä toiveita. Kun tavoite voidaan tarkistaa, järjestelmän ohjaaminen muuttuu vähemmän taiteeksi ja enemmän insinöörityöksi – hyvässä ja pahassa. Jos sijainnit voidaan verifioida, mitä kaikkea muuta voimme vielä muuttaa todennettavaksi: tunnelman, tyylin, kertomuksen? Ja kuka päättää, mitkä tarkistukset ovat olennaisia, kun tekoäly alkaa piirtää meille yhä isomman osan näkyvästä maailmasta?

Paper: https://arxiv.org/abs/2603.22228v1

Register: https://www.AiFeta.com

tekoäly kuvagenerointi tutkimus tietojenkäsittely kuvat koneoppiminen media