AI naučio znakovni jezik iz 80 sati videa

Istraživači iz Centra za superračunalstvo u Barceloni (BSC) i Sveučilišta Politècnica de Catalunya (UPC), upotrijebili su umjetnu inteligenciju za razvoj alata za poboljšanje prijevoda na znakovni jezik, što je važan korak prema omogućavanju interakcija gluhih i nagluhih osoba s tehnologijom i digitalnim uslugama dizajniranim za korištenje s govornim jezicima.

Istraživači su koristili model strojnog učenja koji se zove transformer, sličan onima koji stoje iza drugih AI alata poput ChatGPT-a. Transformeri su korisni iz dva glavna razloga. Prvo, ovi su modeli osobito dobri u učenju kako primijeniti kontekst, odnosno način na koji neuronska mreža kontekstualizira riječi gledajući druge riječi u tijelu teksta. I drugo, omogućuju puno bržu propusnost pri učenju iz primjera obuke, omogućujući korištenje više podataka o obuci u određenom trenutku.

U ovom slučaju skup podataka o obuci je došao iz How2Sign, javno dostupnog velikog, multimodalnog skupa podataka koji se sastoji od 80 sati videozapisa s uputama na američkom znakovnom jeziku s odgovarajućim engleskim transkriptima.

Izazov s kojim su se istraživači suočili bila je varijabilnost i složenost znakovnih jezika, na koje mogu utjecati stvari kao što su podrijetlo govornika, kontekst i izgled. Kako bi pomogli u tom pogledu, prethodno su obradili podatke koristeći Inflated 3D Networks (I3D), metodu ekstrakcije videa koja primjenjuje 3D filtar na videozapise, omogućujući izravno uzimanje prostorno-vremenskih informacija iz njih.

Istraživači su otkrili da je predobrada teksta također značajno poboljšala prijevode znakova u tekst. Kako bi prethodno obradili neobrađeni tekst, pretvorili su ga u mala slova što je smanjilo složenost vokabulara.

Općenito, otkrili su da je njihov model mogao proizvesti smislene prijevode, ali nije bio savršen. "Iako je naš rad pokazao obećavajuće rezultate, još ima prostora za napredak", rekli su istraživači.

Budući da je model još uvijek u eksperimentalnoj fazi, istraživači će nastaviti raditi na stvaranju alata koji gluhim i nagluhim osobama omogućuje pristup istim tehnologijama kao i onima bez gubitka sluha.

Studiju objavljenu online na arXiv repozitoriju, možete pronaći na ovoj poveznici.