VIDEO: Robot uči operirati iz videa

Istraživači s američkog Sveučilišta John Hopkins, obučili su robota da izvodi iste kirurške postupke kao i ljudski liječnik, temeljem gledanja videa s operacija i imitacije.

Ova metoda za treniranje kirurških robota eliminira potrebu za programiranjem svakog pojedinačnog pokreta koji je potreban tijekom medicinskog postupka i približava područje robotske kirurgije istinskoj autonomiji, gdje roboti mogu izvoditi složene operacije bez ljudske pomoći.

"Stvarno je čarobno imati ovaj model, a sve što radimo je unos podataka kamere i on može predvidjeti pokrete robota potrebne za operaciju", rekao je stariji studije autor Axel Krieger, docent na Odsjeku za strojarstvo JHU-a . "Vjerujemo da ovo označava značajan korak naprijed prema novoj granici u medicinskoj robotici."

Tim, koji je uključivao istraživače sa Sveučilišta Stanford, upotrijebio je učenje oponašanja kako bi osposobio da Vinci Surgical System robota za obavljanje tri temeljna zadatka potrebna u kirurškim zahvatima, rukovanje iglom, podizanje tjelesnog tkiva i šivanje. Robot treniran na modelu tima izvodio je iste kirurške postupke jednako vješto kao i ljudski liječnici, kao što možete vidjeti u ovom videu.

Model je kombinirao učenje imitacije s istom arhitekturom strojnog učenja koja podupire ChatGPT. Međutim, tamo gdje ChatGPT radi s riječima i tekstom, ovaj model govori kinematikom, jezikom koji rastavlja kutove robotskog kretanja u matematiku.

Istraživači su svom modelu dali stotine video zapisa snimljenih ručnim kamerama postavljenim na ruke da Vincijevih robota tijekom kirurških zahvata. Ti video zapisi, koje su snimili kirurzi diljem svijeta, koriste se za postoperativne analize i zatim arhiviraju. Gotovo 7.000 Da Vinci robota koristi se u cijelom svijetu, a više od 50.000 kirurga obučeno je za sustav, stvarajući veliku arhivu podataka koje roboti mogu "imitirati".

Iako se da Vincijev sustav naširoko koristi, istraživači kažu da je notorno neprecizan, ali tim je pronašao način da pogrešni unos proradi. Ključ je bila obuka modela za izvođenje relativnih pokreta, a ne apsolutnih radnji, koje su netočne.

"Sve što trebamo je unos slike i onda ovaj AI sustav pronalazi pravu akciju", rekao je glavni autor Ji Woong "Brian" Kim, postdoktorski istraživač na Johns Hopkins. "Smatramo da čak i s nekoliko stotina demonstracija model može naučiti postupak i generalizirati nova okruženja s kojima se nije susreo." 

Model bi se mogao koristiti za brzo osposobljavanje robota za izvođenje bilo koje vrste kirurškog zahvata, rekli su istraživači. Tim sada koristi učenje imitacijom kako bi osposobio robota da obavlja, ne samo male kirurške zadatke, već i potpunu operaciju.