Tekoäly oppii paremmin, kun se keksii itse tavoitteensa ja tarkistaa ne koodilla
Kun opetamme lasta leipomaan, emme mittaa jokaista liikettä. Katsomme, syntyykö lopulta syötävä pulla ja tapahtuuko välissä järkeviä välivaiheita: taikinan teko, kohotus, paisto. Koneille olemme tähän asti kirjoittaneet säännöt yksityiskohtaisesti. Jos tavoitteena on uuniin sopiva pulla, jonkun on pitänyt kertoa koneelle, mistä se saa pisteitä – ja mistä ei.
Tekoälyn perinteinen oppimistapa nojaa juuri näihin pistelistoihin. Ohjelma yrittää, epäonnistuu, saa miinusta, kokeilee uudelleen ja oppii vähitellen, koska ihminen on määritellyt, mikä on palkitsevaa. Tämä toimii yksittäisiin, hyvin rajattuihin tehtäviin. Mutta mitä tehdään, kun emme edes tiedä etukäteen, millaiset taidot ovat hyödyllisiä? Entä kun tavoite on pitkäketjuinen – kuin projektin vetäminen alusta loppuun – eikä yksittäinen temppu riitä?
Tuore arXivissa julkaistu tutkimus ehdottaa suunnanmuutosta. Sen ajatus on arkinen, vaikka toteutus on kunnianhimoinen: annetaan koneen keksiä itse uusia tavoitteita ja kirjoittaa niille tarkistussäännöt pienenä koodina. Näistä säännöistä muodostuu taitokirjasto, jonka varaan ohjelma harjoittelee – ja jossa jokainen taito voi rakentua aiempien varaan kuin reseptikirjan sivut.
Kyse ei ole siitä, että kone keksisi, miten maailma toimii, tyhjästä. Tutkimus käyttää apuna suuria yleiskäyttöisiä tekoälymalleja, jotka osaavat laatia kuvauksia tehtävistä ja pilkkoa niitä osiin. Nämä mallit ehdottavat uusia taitoja ja kirjoittavat niille ”arvosteluperusteet” koodina: pienen ohjelman, joka pystyy tarkistamaan, onko tavoite saavutettu ja milloin matkalla tapahtuu oikeansuuntaisia asioita. Tutkijat kutsuvat näitä taitoja hierarkkisiksi palkkio-ohjelmiksi. Hierarkkisiksi siksi, että yksinkertaisemmista taidoista voi koota monimutkaisempia kokonaisuuksia.
Jännite on selvä. Aiemmin ajateltiin, että paras mitä voimme tehdä on virittää käsin laadittuja palkintosääntöjä yhä paremmiksi tai automatisoida niiden hienosäätö rajatuissa tehtävissä. Nyt ehdotetaan, että kone voi kasvaa ulos tästä rajoituksesta: se voi itse laajentaa taitoarkistoaan ja päättää, mitä kohti harjoitella – kunhan sillä on työkalut ehdottaa, testata ja tallentaa lupaavia välitavoitteita.
Todiste on rajattu, mutta kiinnostava. Tutkijat kouluttivat kokeilevan ohjelman – niin sanotun agentin – harjoitusympäristössä, jossa tavoitteet ulottuvat yksinkertaisista teoista pitkiin tehtäväketjuihin. Ohjelma sai oppia yksinomaan niiden tarkistuskoodien avulla, jotka se oli ”löydettyjen” taitojen kautta saanut. Kun opitut taidot laitettiin järjestykseen ylemmän tason suunnittelijan avulla – tämänkin taustalla toimi suuri yleismalli – yksi ja sama ohjelma selviytyi pitkistä, monivaiheisista tehtävistä paremmin kuin valmiiksi koulutetut vertailuohjelmat ja even erityisesti kuhunkin tehtävään viritetyt asiantuntijat. Keskimääräinen parannus oli tutkimuksen mukaan yli 134 prosenttia.
Miltä tämä näyttää käytännössä? Ajatellaan pelimäistä maailmaa, jossa pitää saavuttaa ketjussa useita välitavoitteita: ensin etsitään oikea raaka-aine, sitten muokataan se käyttökelpoiseen muotoon ja lopuksi kootaan niistä uusi esine. Perinteisesti ihminen kirjoittaisi ohjelmalle palkintosäännön jokaisesta vaiheesta. Nyt suuri malli ehdottaa itse taitoja, kuten ”löydä raaka-aine”, ”muokkaa raaka-aine” ja ”rakenna esine”, ja kirjoittaa niille tarkistuskoodit. Kokeileva ohjelma harjoittelee näiden koodien antaman palautteen varassa. Kun taitokirjasto kasvaa, ylemmän tason suunnittelija alkaa yhdistellä taitoja pidemmiksi suunnitelmiksi: ensin tämä, sitten tuo, lopuksi kolmas. Tuloksena on ohjelma, joka osaa edetä kohti pitkää tavoitetta ilman, että ihminen on joka käänteessä kirjoittanut pisteytyssääntöjä käsin.
Oivallus on vähemmän taikatemppu kuin kurinpidon muutos. Palkitseminen – mikä lasketaan edistykseksi – on siirretty hajautetuksi, tarkistettavaksi koodiksi. Kun ”opettajan” rooli on pirstottu kymmeniksi pieniksi arvosteluperusteiksi, ohjelma voi opetella yhdistämään niitä tilanteen mukaan. Se muistuttaa siitä, miten ihmisetkin oppivat: emme vain pyri suoraan lopputulokseen, vaan keräämme käyttöönsäntyviä välineitä ja opimme, missä järjestyksessä niitä sovelletaan.
Rajoituksia on syytä korostaa. Kaikki tulokset on saatu yhdessä, rajatussa ympäristössä. On eri asia ratkaista pitkiä tehtäväketjuja pelimäisessä maailmassa kuin toimia fyysisessä todellisuudessa, jossa havainnot ovat epätarkkoja ja seuraukset lopullisia. Menetelmä nojaa vahvasti suuriin malleihin, jotka ehdottavat taitoja ja järjestävät niitä. Jos nämä mallit ehdottavat harhaanjohtavia taitoja tai kirjoittavat virheellisiä tarkistussääntöjä, ohjelma voi oppia maksimoimaan vääriä asioita. Myös taitoarkiston kasvu voi johtaa päällekkäisyyksiin ja sekavaan hierarkiaan, ellei järjestystä pidetä yllä. Parannus ”yli 134 prosenttia” kertoo lisäksi paremmasta suoriutumisesta tietyllä mittarilla tietyissä tehtävissä – ei yleispätevästä ylivoimasta.
Silti tutkimus tarjoaa selkeän ajatuksen: jos kone voi suunnitella oman oppimispolkunsa ja arviointinsa, ihmisen ei tarvitse tietää etukäteen jokaista hyödyllistä välietappia. Tämä voisi vähentää käsityötä siellä, missä tavoitteet ovat pitkiä ja hähmäisiä, ja missä yksittäinen palkintosääntö ei kanna. Tutkijat kertovat aikovansa avata koodin myöhemmin; silloin nähdään, millainen vaikutus menetelmällä on muiden kokeiluissa.
Laajempi kysymys on, kuka jatkossa määrittelee, mikä on ”edistystä”. Jos kone kirjoittaa omat tarkistussääntönsä ja suunnittelee opintonsa, millainen rooli jää ihmisen ohjaukselle – ja millä keinoin varmistamme, että pitkä oppimispolku vie todella kohti niitä päämääriä, joita pidämme tärkeinä?
Paper: https://arxiv.org/abs/2602.10085v1
Register: https://www.AiFeta.com
tekoäly oppiminen tutkimus ohjelmointi
