Hands-Free AI for Robotic Surgery: Voice-Directed Patient Data on Demand

Kari Jaaskelainen

— 1 min read
Hands-Free AI for Robotic Surgery: Voice-Directed Patient Data on Demand

Voice-powered help in the robotic OR

During da Vinci robotic surgery, surgeons' hands and eyes are fully occupied, making it hard to pull up scans or labs without breaking focus. A new system—Surgical Agent Orchestrator Platform (SAOP)—turns natural speech into on-screen actions, no clicking required.

  • "Show the latest CT and rotate 30 degrees."
  • "Highlight the left renal artery on the 3D model."
  • "Summarize recent hemoglobin trends."

Under the hood, an orchestrator coordinates three task-specific AI agents powered by large language models. They plan, refine, and verify steps, helping SAOP handle misheard words and vague commands.

To evaluate performance, the team proposed a new Multi-level Orchestration Evaluation Metric (MOEM) and tested 240 diverse voice commands. Results: high accuracy and success across command types.

Why it matters: faster, hands-free access to multimodal patient data could reduce interruptions and keep attention on the patient during minimally invasive procedures. This is research, not clinical guidance, but it points to a promising direction for operating rooms.

Paper: http://arxiv.org/abs/2511.07392v1

Register: https://www.AiFeta.com

#AI #Surgery #Robotics #Healthcare #VoiceAI #MedTech #LLM #HumanComputerInteraction

Read more

Kun päällekkäisyys ei olekaan virhe: hermoverkot voivat hyödyntää “hälyä”

Kun päällekkäisyys ei olekaan virhe: hermoverkot voivat hyödyntää “hälyä”

Jos tekoäly järjestää sisäiset signaalinsa hyödyntämään sanojen yhteisesiintymiä, se voi vahvistaa oikeaa viestiä sen sijaan, että yrittäisi peittää kaiken päällekkäisyyden – ja tämä haastaa vallitsevan selitysmallin siitä, miten mallit ajattelevat. Kuvittele selaavasi reseptejä. Kun ruudulla vilahtaa “kahvi”, todennäköisesti näet pian “kupin” tai “mukin”. Me huomaamme tällaiset parit vaistonvaraisesti. Mutta mitä tapahtuu

By Kari Jaaskelainen
Synteettinen data parantaa satelliittikuvien tekoälyä, kun sisältö tarkistetaan sanoin ja kuvin

Synteettinen data parantaa satelliittikuvien tekoälyä, kun sisältö tarkistetaan sanoin ja kuvin

Kun kuvan piirteet nimetään ja kuvataan sanallisesti, tekoälyn harjoittamiseen luotu aineisto muuttuu ymmärrettäväksi – ja toimii paremmin kuin pelkkä oikea data yksinään. Kun avaa karttasovelluksen satelliittinäkymän, näkee ylhäältäpäin asioita, joita maan tasalla harvoin ajattelee: teiden suoruuden, jokien kiemurat, pellonlaidat, jotka asettuvat kuin palapelin palat. Juuri tällaisia kuvia koneoppimismallit yrittävät tulkita. Ne

By Kari Jaaskelainen
Huipputulokset koetesteissä eivät vielä todista aidosta päättelystä

Huipputulokset koetesteissä eivät vielä todista aidosta päättelystä

Kuvittele, että sinulle annetaan ohjelmointikirja kielellä, jota et ole koskaan nähnyt. Selailisit dokumentaatiota, kokeilisit esimerkkejä ja muuttaisit koodia, kunnes se toimii. Ihminen oppii näin varsin nopeasti uuden kielen alkeet. Mutta osaavatko myös tekoälymallit oppia uutta näin, vai toistavatko ne lähinnä asioita, joita ovat aiemmin nähneet? Viime vuosina suuret kielimallit ovat

By Kari Jaaskelainen
Tekoäly oppii katsomaan kuvia myös vietnamiksi, kun data ja mittarit päivitetään

Tekoäly oppii katsomaan kuvia myös vietnamiksi, kun data ja mittarit päivitetään

Matkalla otettu kuva torilta: muovipussissa vilahtaa keltainen hedelmä, ja joku kysyy puhelimelta vietnamin kielellä, mitä nainen pitää kädessään. Usein vastausta ei tule. Monelle kielelle tekoäly on oppinut puhumaan, mutta näkeminen ja vastaaminen yhtä aikaa on ollut pitkälti englannin varassa. Jo pitkään on ajateltu, että kunhan kielimalli on riittävän vahva, se

By Kari Jaaskelainen