Nosivi sonar prati grimase lica zvukom

Inženjeri sa Sveučilišta Cornell razvili su novi nosivi uređaj koji može pratiti izraze lica osoba putem sonara i rekonstruirati ih na digitalnom avataru. Uklanjanje kamera iz sustava za prepoznavanje facijalnih izraza moglo bi znatno poboljšati privatnost takvih sustava za prepoznavanje grimasa.

Uređaj po nazivu EarIO, sastoji se od slušalica s mikrofonom i zvučnikom sa svake strane, a može se spojiti na bilo koji obični headset. Svaki zvučnik emitira impulse zvuka izvan dometa ljudskog sluha, prema licu nositelja, a odjeke hvataju mikrofoni.

Profili odjeka bit će malo izmijenjeni načinom na koji se korisnikova koža pomiče, rasteže i nabire dok stvara različite izraze lica ili dok govori. Posebno uvježbani algoritmi mogu prepoznati ove profile odjeka i brzo rekonstruirati izraz lica korisnika, prikazujući ga na digitalnom avataru.

"Uz pomoć snage umjetne inteligencije, algoritam pronalazi složene veze između pokreta mišića i izraza lica koje ljudske oči ne mogu prepoznati", rekao je Ke Li, koautor studije. "To možemo koristiti za prikupljanje složenih informacija koje je teže uhvatiti".

Uređaj je mogao rekonstruirati izraze lica otprilike jednako dobro kao i obična kamera. Pozadinska buka poput vjetra, razgovora ili buke s ulice nije ometala njegovu sposobnost registracije lica.

Sonar ima nekoliko prednosti u odnosu na korištenje kamere, kaže tim. Akustični podaci zahtijevaju puno manje energije i procesorske snage, što također znači da uređaj može biti manji i lakši. Kamere također mogu uhvatiti veliku količinu drugih osobnih podataka koje korisnik možda ne namjerava podijeliti, tako da bi sonar mogao biti privatniji.

Što se tiče onoga za što biste mogli koristiti ovu tehnologiju, to bi mogao biti zgodan način da replicirate svoje fizičke izraze lica na digitalnom avataru za igre, VR ili metaverzum.

Istraživanje objavljeno u časopisu Proceedings of Association for Computing Machinery on Interactive, Mobile, Wearable and Ubiquitous Technologies možete pronaći na ovoj poveznici https://dl.acm.org/doi/10.1145/3534621