Budući AR i VR kontroleri na dlanu ruke

Nedavni rad istraživača s Instituta za interakciju čovjeka i računala na američkom Sveučilištu Carnegie Mellon predstavlja EgoTouch, alat koji koristi AI za kontrolu AR/VR sučelja dodirivanjem vaše kože prstom.

Tim je želio dizajnirati kontrolu koja bi pružala taktilnu povratnu informaciju koristeći samo senzore koji dolaze sa standardnim AR/VR headsetovima.

Doktorand Vimal Mollyn došao je na ideju da upotrijebi algoritam strojnog učenja za treniranje normalnih kamera da prepoznaju dodir.

"Pokušajte uzeti prst i vidjeti što se događa kada njime dodirnete kožu. Primijetit ćete da postoje sjene i lokalne deformacije kože koje se javljaju samo kada dodirujete kožu", rekao je Mollyn. "Ako ih možemo vidjeti, tada možemo istrenirati model strojnog učenja da radi isto, a to je u biti ono što smo učinili."

Mollyn je prikupio podatke za EgoTouch pomoću prilagođenog senzora za dodir koji je išao duž donje strane kažiprsta i dlana. Senzor je prikupio podatke o različitim vrstama dodira pri različitim silama dok je ostao nevidljiv za kameru.

Model je zatim naučio korelirati vizualne značajke sjena i deformacija kože na dodir i silu. Tim je proširio svoje prikupljanje podataka o obuci na 15 korisnika s različitim tonovima kože te je prikupio sate podataka u mnogim situacijama, aktivnostima i uvjetima osvjetljenja, kao što možete vidjeti u ovom videu.

EgoTouch može detektirati dodir s više od 96% točnosti i ima lažno pozitivnu stopu od oko 5%. Prepoznaje pritisak prema dolje, podizanje i povlačenje. Model također može klasificirati je li dodir bio lagan ili jak s 98% točnosti.

Otkrivanje varijacija u dodiru moglo bi omogućiti programerima da oponašaju geste zaslona osjetljivog na dodir na našoj koži. Na primjer, vaš pametni telefon može prepoznati kada se pomičete gore ili dolje po stranici, povećavate, prijeđete prstom udesno ili pritisnete i držite ikonu. Da bi se ovo prevelo na sučelje temeljeno na koži, kamera mora prepoznati suptilne razlike između vrste dodira i sile dodira.

Točnosti su bile približno iste u različitim tonovima kože i gustoći dlačica te na različitim područjima na šaci i podlaktici kao što su prednja strana ruke, stražnja strana ruke, dlan i nadlaktica. Sustav se nije dobro pokazao jedino na koštanim područjima kao što su zglobovi prstiju.

"To je vjerojatno zato što nije bilo toliko deformacije kože na tim područjima", rekao je Mollyn. "Kao dizajner korisničkog sučelja, ono što možete učiniti je izbjegavati postavljanje elemenata na ta područja."

Mollyn istražuje načine korištenja kamera za noćno gledanje i noćnog osvjetljenja kako bi sustav EgoTouch mogao raditi u mraku. Također surađuje s istraživačima kako bi ovu metodu detekcije dodira proširio i na druge površine osim kože.