AI

Hands-Free AI Help for Robotic Surgery

Kari Jaaskelainen

— 1 min read
Hands-Free AI Help for Robotic Surgery

In robotic surgery, a surgeon’s hands and eyes are busy. That makes it hard to pull up labs, flip through CT slices, or inspect 3D anatomy without breaking focus.

This study introduces the voice-directed Surgical Agent Orchestrator Platform (SAOP): a coordinated team of AI agents that listens to spoken requests and turns them into precise on-screen actions.

  • Find info: Retrieve patient history, labs, or notes on demand.
  • Work with images: Scroll, zoom, and adjust CT/MRI views.
  • Navigate 3D: Explore anatomical models aligned with surgical video.

Under the hood, Large Language Model–powered agents plan, refine, validate, and reason about commands. The authors also propose a new score—MOEM (Multi‑level Orchestration Evaluation Metric)—to measure accuracy and robustness across command types.

Tested on 240 voice commands, SAOP achieved high success and handled speech-recognition slips and ambiguous phrasing, showing promise as hands-free support during minimally invasive da Vinci procedures.

Note: Research prototype; assists clinicians and does not replace medical judgment.

Paper: http://arxiv.org/abs/2511.07392v1

Register: https://www.AiFeta.com

AI RoboticSurgery Healthcare VoiceAI MedicalImaging LLM HumanComputerInteraction SurgicalTech

Read more

Se, mitä pidämme kuvissa samanlaisena, riippuu sanoista

Se, mitä pidämme kuvissa samanlaisena, riippuu sanoista

Olet etsimässä uutta takkia verkosta. Kirjoitat hakukenttään “villakangastakki”. Ensimmäiset osumat ovat järkeviä, mutta sinä mietit: haluaisin nimenomaan tummanharmaan, polvipituisen ja arkikäyttöön sopivan. Yhtäkkiä “samanlainen takki” tarkoittaakin eri asiaa kuin hetkeä aiemmin. Silti useimmat kuvahaun ja verkkokaupan järjestelmät vertaavat kuvia toisiinsa yhden ja saman, kiveen hakatun mittarin mukaan. Perinteinen oletus on

By Kari Jaaskelainen
Näkymätön lisäys kuvaan voi kantaa pitkän viestin – ja säilyä tavallisen muokkauksen läpi

Näkymätön lisäys kuvaan voi kantaa pitkän viestin – ja säilyä tavallisen muokkauksen läpi

Kun tekoälyn tekemät kuvat yleistyvät, pelkkä arvaus alkuperästä ei riitä. Tuoreet kokeet osoittavat, että yksinkertainen, huomaamaton vesileima voi kertoa sekä onko kuva koneella tehty että kuka sen teki. Sosiaalisen median virrassa kuva näyttää aina kuvalta: naurava hääseurue, tulviva katu, presidentti kättelemässä. Silti yhä useammin kysymys kuuluu, mistä kuva on peräisin

By Kari Jaaskelainen
Tietokone, joka kuuntelee sanat, äänen ja ilmeet, voi kertoa myös miksi se epäilee masennusta

Tietokone, joka kuuntelee sanat, äänen ja ilmeet, voi kertoa myös miksi se epäilee masennusta

Moni tunnistaa tilanteen terveyskeskuksessa tai videopuhelussa: kysymykseen ”mitä kuuluu?” on helpompi vastata ”ihan ok” kuin kertoa oikeasti, miltä tuntuu. Häpeä, kiire ja se, että oireet ovat lopulta vain omia kokemuksia, vaikeuttavat masennuksen huomaamista – sekä potilaalta että ammattilaiselta. Yleinen ajatus on ollut, että jos tekoäly oppisi poimimaan masennuksen merkkejä puheesta, tekstistä

By Kari Jaaskelainen
Keinoälystä on tulossa matemaatikon apuri, joka etsii poikkeukset ja ehdottaa polkuja

Keinoälystä on tulossa matemaatikon apuri, joka etsii poikkeukset ja ehdottaa polkuja

Koneet voivat oppia löytämään piilokuvioita, vinkata todistusten välivaiheita ja jopa keksiä yksittäisiä tapauksia, jotka kumoavat rohkeita väitteitä – ja se voi muuttaa tapaa, jolla uutta matematiikkaa syntyy. Arjessa riittää usein, että jokin toimii melkein aina. Matematiikassa yksi poikkeus riittää kaatamaan koko säännön. Jos väität, että jokaisessa bussissa on aina vapaa paikka,

By Kari Jaaskelainen