Qualcomm AI Hub donosi 75 AI modela na telefone

Qualcomm je na sajmu MWC 2034 u Barceloni predstavio svoja najnovija dostignuća u umjetnoj inteligenciji, među kojima je glavna stvar Qualcomm AI Hub, koji sadrži biblioteku unaprijed optimiziranih AI modela za implementaciju na uređajima koje pokreću Snapdragon i Qualcomm platforme.

Ova biblioteka razvojnim programerima pruža više od 75 popularnih generativnih AI modela, kao što su Whisper, ControlNet, Stable Diffusion,i Baichuan 7B i drugi, koji su optimizirani za vrhunske performanse AI-ja na uređaju, bolju iskoristivost memorije i bolju energetsku učinkovitost.

Svaki je model optimiziran za iskorištavanje prednosti hardverskog ubrzanja u svim jezgrama unutar Qualcomm AI Enginea (NPU, CPU i GPU), što rezultira 4X bržim vremenom izvršavanja. Biblioteka AI modela automatski obrađuje prevođenje modela iz izvornog okvira i radi izravno sa SDK-om Qualcomm AI Enginea, a zatim primjenjuje optimizacije prema hardveru.

Developeri mogu integrirati ove modele u svoje aplikacije, skraćujući vrijeme izlaska na tržište i otključavajući prednosti implementacija umjetne inteligencije na uređaje, među kojima ističu neposrednost, pouzdanost, privatnost, personalizaciju i uštedu troškova.

Optimizirani modeli već su dostupni na Qualcomm AI Hubu, GitHubu i Hugging Faceu, a Qualcomm kaže da će se novi modeli stalno dodavati, zajedno s nadolazećom podrškom za dodatne platforme i operativne sustave. Programeri se mogu prijaviti već danas kako bi sami pokrenuli modele na uređajima koji se nalaze u oblaku i koji se temelje na platformama Qualcomm Technologiesa, čime će dobiti raniji pristup novim značajkama i AI modelima koji dolaze kroz Qualcomm AI Hub.

Po prvi puta na Android pametnom telefonu, Qualcomm AI Research demonstrira Large Language and Vision Assistant (LLaVA ), veliki multimodalni model (LMM) s više od 7 milijardiparametara koji može prihvatiti više vrsta unosa podataka, uključujući tekst i slike. Ovaj LMM rezultira poboljšanom privatnošću, pouzdanošću, personalizacijom i nižom cijenom. LMM-ovi s razumijevanjem jezika i vizualnim razumijevanjem omogućuju mnoge slučajeve upotrebe sa složenim vizualnim uzorcima, objektima i scenama.

Qualcomm AI Research također prikazuje svoju prvu demonstraciju Low Rank Adaptation (LoRA) na Android pametnom telefonu. Pokrećući Stable Diffusion s LoRA-om, korisnici mogu stvarati visokokvalitetne prilagođene slike na temelju osobnih ili umjetničkih preferencija.

LoRA smanjuje broj parametara AI modela koji se mogu trenirati, omogućujući veću učinkovitost, skalabilnost i prilagodbu generativnih slučajeva upotrebe AI na uređaju. Osim omogućavanja fino podešenih velikih vizualnih modela (LVM-ova) za različite umjetničke stilove, LoRA je široko primjenjiv za prilagođene AI modele, kao što su veliki jezični modeli za stvaranje prilagođenih osobnih pomoćnika, poboljšanog jezičnog prijevoda i više.

Na računalu sa sustavom Windows, Qualcomm AI Research prikazuje prvu svjetsku demonstraciju LMM-a s više od 7 milijardi parametara na uređaju koji može prihvatiti tekstualne i audio ulaze (npr. glazbu, zvuk prometa itd.) i zatim generirati razgovore s više tematike o zvuku. 

Qualcomm kaže da je već dostupno mnoštvo komercijalnih pametnih telefona s umjetnom inteligencijom pokretanih Snapdragon 8 Gen 3 Mobile platformom, uključujući HONOR Magic6 Pro, OPPO X7 Ultra i Xiaomi 14 Pro. Svaki od ovih uređaja uključuje nove generativne značajke umjetne inteligencije, kao što su proširenje slike generirano umjetnom inteligencijom (Xiaomi), stvaranje videa pomoću umjetne inteligencije i stvaranje kalendara pomoću umjetne inteligencije (HONOR), kao i brisač slikovnih objekata (OPPO).

Također ističu da su novi Snapdragon X Elite i njegov 45 TOPS NPU, izgrađeni za AI na uređaju koji će promijeniti način na koji komuniciramo s našim računalima. Korištenjem popularnog i besplatnog uređivača slika GIMP s dodatkom Stable Diffusiona, Qualcomm Technologies će pokazati da možete unijeti opis slike koju želite, a generativna umjetna inteligencija će je stvoriti za samo 7 sekundi, što je 3 puta brže od x86 konkurenata.