Novi AI model za brzo kreiranje virtualnih objekata

NVIDIA želi olakšati stvaranje virtualnih 3D svjetova s ​​novim modelom umjetne inteligencije pod nazivom GET3D koji može generirati likove, zgrade, vozila i druge vrste 3D objekata. Model bi također mogao brzo slagati oblike brzinom od 20 objekata u sekundi koristeći jedan GPU.

Istraživači su uvježbali model pomoću sintetičkih 2D slika 3D objekata snimljenih iz više kutova. NVIDIA kaže da je bilo potrebno samo dva dana da se oko milijun slika unese u GET3D koristeći A100 Tensor Core GPU.

Model može stvarati objekte s "teksturama visoke vjernosti i složenim geometrijskim detaljima", napisala je Isha Salian iz NVIDIA-e u postu na blogu. Oblici koje GET3D izrađuje "u obliku su trokutaste mreže, poput papier-mâché modela, prekrivenog teksturiranim materijalom".

Korisnici će moći brzo uvesti objekte u engine igara, programe za 3D modele i renderere za uređivanje videa, jer će ih GET3D stvoriti u kompatibilnim formatima. To znači da bi programerima moglo biti mnogo lakše stvarati složene virtualne svjetove za igre i metaverzum, a NVIDIA primjenu vidi i u robotici i arhitekturi.

Tvrtka kaže da je, na temelju skupa podataka treniranih na slikama automobila, GET3D uspio generirati limuzine, kamione, trkaće automobile i kombije. Također može izbaciti lisice, nosoroge, konje i medvjede nakon što se uvježba na slikama životinja.

Uz pomoć drugog NVIDIA AI alata, StyleGAN-NADA, moguće je primijeniti različite stilove na objekt s tekstualnim upitima. Možete nanijeti izgorjeli izgled na automobil, pretvoriti model kuće u ukletu kuću ili nanijeti tigrove pruge na bilo koju životinju, kao što možete vidjeti u ovom videu.

Istraživački tim koji je kreirao GET3D vjeruje da bi se buduće verzije mogle obučavati na slikama iz stvarnog svijeta umjesto na sintetičkim podacima. Također bi se moglo trenirati model na različitim vrstama 3D objekata odjednom, umjesto da se morate fokusirati na jednu kategoriju objekta u određenom trenutku.