VIDEO: Slušanje zvuka iz slike snimljene kamerom

Znanstvenici Adobea, Microsofta i MIT-a, objavili su znanstveni rad u kojem opisuju sustav takozvanog "vizualnog mikrofona". U osnovi se radi o algoritmu koji prepoznaje zvuk iz mikroskopskih vibracija koje su snimljene objektivom kamere. Drugim riječima, kao što to možete vidjeti u videu dolje, video kamera može doslovce "slušati" zvuk promatranjem vibracija na različitim predmetima koji se nalaze u prostoru u kojem recimo ljudi razgovaraju ili se pušta glazba.

Na taj način znanstvenici su kao "vizualni zvučnik" uspješno koristili vrećicu čipsa, aluminijsku foliju, plastične čaše, keramički čajnik, kutiju s papirnatim maramicama i razne druge predmete svakodnevne uporabe, čije je vibracije algoritam prepoznavao iz snimke kamere, te ih potom rekonstrirao i uspješno reproducirao.

Uslijed toga mogli su između ostaloga slušati i razumjeti ljudski govor u prostoriji odvojenoj staklenim vratima, kao i prepoznati pjesmu koja se reproducirala na malim slušalicama.

Ova tehnologija se temelji na značajki rolo zatvarača (rolling shutter) u digitalnim kamerama, u kojima senzor čita piksele iz različitih područja u različito vrijeme, u redovima od gore prema dolje mnogo puta u sekundi, nakon čega se slika rekonstruira u jedan prikaz. Zahvaljujući tom efektu, za "slušanje slike" vam je osim algoritma MIT-a potrebna i kamera s čim većim "frame-rateom", mada su znanstvenici demonstrirali kako je osim kamere s mogućnošču snimanja 6.000 sličica u sekundi, dosta moguće postići i sa potrošačkim video kamerama od 60 fps, mada one nisu toliko precizne.

Nije teško zamisliti primjenu ovoga, prije svega za potrebe prisluškivanja, pa vjerujemo da će se špijunske i detektivske agencije otimati za MIT-ov algoritam. Drugi način primjene koji se znanstvenicima više dopada je mogućnost prepoznavanja materijala bez direktnog kontakta.

Čitav znanstveni rad možete preuzeti u PDF dokumentu na ovoj poveznici.