What Really Drives AI Risk: Intelligence, Not Consciousness

What Really Drives AI Risk: Intelligence, Not Consciousness

Are conscious AIs more dangerous? Not necessarily. A new paper by Rufin VanRullen separates two often-blurred ideas—consciousness and intelligence—and shows why mixing them can misdirect AI safety debates.

Key takeaways

  • Consciousness ≠ intelligence. They are empirically and theoretically distinct.
  • It’s intelligence—the capability to achieve goals—that best predicts existential risk from AI.
  • Consciousness isn’t a direct risk factor, but it could matter indirectly: it might aid alignment (lowering risk) or be a prerequisite for certain high-level capabilities (raising risk).

Bottom line: focus research and policy on managing capabilities and objectives, while staying open to how consciousness could incidentally help or hinder safety.

Read the paper: https://arxiv.org/abs/2511.19115v1

Paper: https://arxiv.org/abs/2511.19115v1

Register: https://www.AiFeta.com

#AI #AISafety #ExistentialRisk #Consciousness #Intelligence #Alignment #Policy #arXiv

Read more

Pieni kielimalli oppi kysymään taulukoilta ihmisen puolesta

Pieni kielimalli oppi kysymään taulukoilta ihmisen puolesta

Moni on tuijottanut Exceliä ja toivonut voivansa vain kysyä: missä kaupunginosissa koti on kävelymatkan päässä terveysasemasta ja ruokakaupasta? Ihmismielelle yksinkertainen pyyntö muuttuu helposti tuntien suodatukseksi ja kaavanviilaukseksi. Tietokone kyllä tietää vastauksen – jos vain osaisimme puhua sen kieltä. Viime vuosina apua on pyydetty juttelevalta tekoälyltä. Se osaa etsiä ja tiivistää tekstejä,

By Kari Jaaskelainen
Tekoäly vastaa fiksummin, kun sille annetaan oikea tieto oikealla tavalla

Tekoäly vastaa fiksummin, kun sille annetaan oikea tieto oikealla tavalla

Katsaus kokoaa, miten kielimalleja voi vahvistaa antamalla niille jäsenneltyä lisätietoa vastaushetkellä – yksinkertaisista vihjeistä aina syy–seurausketjuiksi järjestettyyn taustaan. Kuvittele, että pyydät tekoälyä selittämään, mitä uusi lakimuutos tarkoittaa pienyrittäjälle. Yleismallinen kielimalli osaa puhua aiheesta sujuvasti, mutta jos laki on muuttunut äskettäin, vastauksessa voi olla vanhaa tietoa tai epävarmoja arvailuja. Sama kokemus

By Kari Jaaskelainen
Tekoäly voi olla sekä nopea että säästeliäs – jos se oppii milloin ajatella ääneen

Tekoäly voi olla sekä nopea että säästeliäs – jos se oppii milloin ajatella ääneen

Kuvittele chat-ikkuna, jossa vastaus alkaa rönsyillä: ensin pari perustelua, sitten varmistus, lopulta vielä varmistuksen varmistus. Käyttäjä odottaa, laskutus juoksee. Tekoälymallit hinnoitellaan usein “tokeneina” – sananpaloina – joten jokainen turha kiemura maksaa sekä aikaa että rahaa. Vuosia alalla vallitsi hiljainen oletus: mitä enemmän mallilla on laskentatehoa ja mitä pidemmin se ”miettii”, sitä parempaa

By Kari Jaaskelainen