CALM: Faster AI by predicting vectors, not tokens

Kari Jaaskelainen

04 Nov 2025 — 1 min read

CALM: Faster AI by predicting vectors, not tokens

Large language models usually write one token at a time — a core bottleneck for speed and cost. CALM (Continuous Autoregressive Language Models) flips the script.

Instead of guessing the next token, CALM predicts the next continuous vector. A high‑fidelity autoencoder packs a chunk of K tokens into one vector, then reconstructs the original text with over 99.9% accuracy. Fewer steps (about K× fewer) means faster, cheaper generation.

Models language as a sequence of continuous vectors
Likelihood‑free training, evaluation, and controllable sampling in the continuous domain
Matches strong discrete baselines at significantly lower compute
A scalable pathway toward ultra‑efficient LLMs

Paper: http://arxiv.org/abs/2510.27688v1

Code: https://github.com/shaochenze/calm

Project: https://shaochenze.github.io/blog/2025/CALM

Authors: Chenze Shao, Darren Li, Fandong Meng, Jie Zhou

Paper: http://arxiv.org/abs/2510.27688v1

Register: https://www.AiFeta.com

#AI #LLM #NLP #MachineLearning #DeepLearning #LanguageModels #Efficiency #Research #OpenSource

Read more

Tekoäly ei enää vain ehdota – se myös koettaa

Tekoäly ei enää vain ehdota – se myös koettaa

Kuvittele tutkija, joka esittää tietokoneelle väitteen: “Tämä rakenne voisi kestää kuumuutta paremmin.” Ennen vastaus olisi ollut viittauksia artikkeleihin ja arveluja. Nyt kone voi myös yrittää: se luonnostelee kokeen, simuloi atomien liikettä ja palaa perusteltuun arvioon – heti samassa istunnossa. Tämä on hienovarainen mutta merkittävä muutos. Vielä hiljattain kielimallipohjaiset tekoälyt olivat taitavia

Tekoäly alkaa opetella opettamaan itseään

Tekoäly alkaa opetella opettamaan itseään

Jos kone voi suunnitella ja kokeilla omat harjoitusohjelmansa, tekoälyn kehitys voi nopeutua – mutta samalla kasvaa tarve selittää, mitä se tekee ja miksi. Kuvittele, että opetat lapselle uuden pelin. Ensin kerrot säännöt, sitten kokeilette, teette virheitä, muutatte taktiikkaa ja palaatte aiempiin kokeiluihin oppiaksenne niistä. Näin ihminen yleensä oppii monimutkaisia asioita. Nyt

Tekoälyn selitys voi olla pieni mutta ratkaiseva – ja juuri siksi luotettavampi

Tekoälyn selitys voi olla pieni mutta ratkaiseva – ja juuri siksi luotettavampi

Uusi menetelmä lupaa vaihtaa suttuiset korostukset teräviin todisteisiin, jotta lääkärille näkyy täsmälleen se, mihin päätös perustui. Kuvittele rutiininen hetki sairaalassa: tietokone katsoo keuhkokuvaa, antaa tulokseksi “poikkeava” ja levittää kuvan päälle oranssin läiskän. Läiskä kertoo, että jossain siinä suunnassa oli jotain tärkeää. Mutta mitä tarkalleen? Onko ratkaisevaa pieni varjo kylkiluussa vai

Kaksi tekoälyä voi olla reilumpi kuin yksi

Kaksi tekoälyä voi olla reilumpi kuin yksi

Tutkijoiden simuloimassa päivystyksessä oikeudenmukaisuus syntyi neuvottelusta, ei yhdestä auktoriteetista. Se haastaa tavan, jolla tekoälyä on tähän asti arvioitu ja säädelty. Kuvittele ruuhkainen päivystysilta: paikkoja on liian vähän, potilaita liikaa. Yhden älykkään järjestelmän sijaan päätöksiä valmistelee kaksi tekoälyä. Ne käyvät muutaman kierroksen keskustelun siitä, kenelle hoito kuuluu ensin ja millä perusteilla.