AI prsten prepoznaje znakovni jezik

Istraživački tim pod vodstvom istraživača na američkom Sveučilištu Cornell, razvio je prsten pod nazivom SpellRing koji pokreće umjetna inteligencija opremljen tehnologijom mikrosonara koji može kontinuirano i u stvarnom vremenu pratiti "govor prstima" na američkom znakovnom jeziku (ASL).

U svom trenutnom obliku, SpellRing bi se mogao koristiti za unos teksta u računala ili pametne telefone ASL znakovima prstima za sricanje riječi, poput vlastitih imenica, imena i tehničkih izraza. S daljnjim razvojem, uređaj za koji se vjeruje da je prvi takve vrste, mogao bi revolucionirati ASL prijevod kontinuiranim praćenjem cijelih riječi i rečenica.

"Zajednica gluhih i nagluhih nije usvojila mnoge druge tehnologije koje prepoznaju sricanje prstima na ASL-u jer je hardver glomazan i nepraktičan", rekao je Hyunchul Lim, doktorand na polju informacijskih znanosti. "Nastojali smo razviti jedan prsten za snimanje svih suptilnih i složenih pokreta prstiju u ASL-u."

SpellRing se nosi na palcu i opremljen je mikrofonom i zvučnikom koji zajedno šalju i primaju nečujne zvučne valove koji prate pokrete ruku i prstiju korisnika, dok mini žiroskop prati pokrete ruke. Ove su komponente smještene unutar 3D printanog prstena.

Vlasnički algoritam dubokog učenja zatim obrađuje slike sonara i predviđa ASL slova napisana prstima u stvarnom vremenu i sa sličnom točnošću kao i mnogi postojeći sustavi koji zahtijevaju više hardvera.

Programeri su testirali SpellRing na 20 iskusnih osoba i početnika u ASL-u, natjeravši ih da prirodno i kontinuirano sricaju ukupno više od 20.000 riječi različitih duljina. Stopa točnosti SpellRinga bila je između 82% i 92%, ovisno o težini riječi.

Uvježbavanje AI sustava da prepozna 26 oblika ruku povezanih sa svakim slovom abecede, bilo je daleko od jednostavnog, kažu istraživači. "Razlike između slova mogu biti značajne", kažu istraživači. "Teško je to uhvatiti."

SpellRing se nadovezuje na prethodnu iteraciju iz SciFi Laba na Sveučilištu Cornell, pod nazivom  Ring-a-Pose i predstavlja najnoviji u nizu pametnih uređaja opremljenih sonarima. Istraživači su prethodno razvili gadgete za tumačenje  položaja ruku u virtualnoj stvarnosti,  gornjeg dijela tijela u 3D,  prepoznavanje tihog govora, pogleda i izraza lica.

Budući rad uključit će integraciju mikrosonarnog sustava u naočale za hvatanje pokreta gornjeg dijela tijela i izraza lica, za sveobuhvatniji sustav prevođenja ASL-a.

"Gluhi i nagluhi ljudi koriste više od svojih ruku za ASL. Oni koriste izraze lica, pokrete gornjeg dijela tijela i geste glave", rekao je Lim. "ASL je vrlo kompliciran, složen vizualni jezik."

Znanstveni rad možete pronaći na ovoj poveznici.