ChatGPT kao virtualni holodeck

Holodeck je jedna od najzanimljivijih stvari u Star Trek serijama i filmovima, velika prazna soba u Enterpriseu, u kojoj računalo kreira različite hologramske prostore i likove, od golf terena, pješčanih plaža, egzotičnih barova, luksuznih hotela na stranim planetima, pa sve do Londona iz doba 19 stoljeća u kojem Data u ulozi Sherlocka Holmesa rješava teške slučajeve i lovi svog nemezisa, profesora Moriartya. Sve te interijere, eksterijere i likove u TV seriji kreira računalo temeljem opisa od strane korisnika, što je vrlo slično tekstualnim upitima koji se upisuju u velike jezične modele poput ChatGPT-a.

Istraživači sa Sveučilišta Pennsylvania smatraju da je holodeck, pa makar bio i virtualni, odlična stvar za stvaranje interaktivnih okruženja koja bi se mogla koristiti za obuku robota prije implementacije u stvarnom svijetu u procesu nazvanom "Sim2Real".

Naime, virtualna interaktivna okruženja koja su do sada izrađivali umjetnici, bila su iznenađujuće manjkava, a ljudima je trebalo jako dugo da ih "ručno" izrade, renderiraju i isprogramiraju.

Iz tog razloga istraživači su razvili sustav za generiranje interaktivnih 3D okruženja pod nazivom Holodeck (a kako drugačije), koji generira gotovo neograničen raspon unutarnjih okruženja, koristeći AI za tumačenje zahtjeva korisnika.

Holodeck iskorištava znanje ugrađeno u velike jezične modele (LLM-ove), sustave na kojima se temelje ChatGPT i drugi chatbotovi. Koristeći svakodnevni jezik, korisnici mogu potaknuti Holodeck da generira gotovo beskonačnu raznolikost 3D prostora, što stvara nove mogućnosti za obuku robota za navigaciju svijetom.

Kao što je kapetan Picard mogao zatražiti od Holodecka iz Zvjezdanih staza da simulira Speakeasy bar, istraživači mogu tražiti od svojeg Holodecka da stvori "jednosobni stan znanstvenika koji ima mačku". Sustav izvršava ovaj upit tako što ga dijeli u više koraka. Prvo se stvaraju pod i zidovi, zatim vrata i prozori, a zatim Holodeck pretražuje ogromnu biblioteku unaprijed izrađenih digitalnih objekata, tražeći vrstu namještaja koju biste mogli očekivati ​​u takvom prostoru, stolić za kavu, prostirku za mačke i tako dalje.

Kako bi procijenili Holodeckove sposobnosti, u smislu realističnosti i točnosti, istraživači su generirali 120 scena koristeći Holodeck i ProcTHOR, raniji alat koji je stvorio AI2, i zamolili su nekoliko stotina studenata Penn Engineeringa da označe verziju koju preferiraju, ne znajući koje su scene stvorene kojim alatima. Po svakom kriteriju, koji su uključivali odabir sredstava, koherentnost izgleda i sveukupne preferencije, studenti su bolje ocjenjivali okruženja koja je generirao Holodeck u usporedbi s onima koje su kreirali ljudi.

Istraživači su također testirali sposobnost Holodecka da generira scene koje su manje tipične u istraživanju robotike i teže ih je ručno kreirati od interijera stanova, poput trgovina, javnih prostora i ureda.

Uspoređujući rezultate Holodecka s onima ProcTHOR-a, koji su generirani korištenjem pravila koje je stvorio čovjek, a ne teksta generiranog umjetnom inteligencijom, istraživači su još jednom otkrili da ljudski evaluatori preferiraju scene koje je stvorio Holodeck. Ta se preferencija održala u širokom rasponu zatvorenih okruženja, od znanstvenih laboratorija do umjetničkih studija, svlačionica i vinskih podruma.

Konačno, istraživači su koristili scene koje je generirao Holodeck za fino podešavanje utjelovljenog AI agenta kako bi se Holodeck koristio da pomogne robotima u sigurnijoj interakciji s okolinom pripremajući ih da se snalaze na mjestima na kojima nikada prije nisu bili.

U više vrsta virtualnih prostora, uključujući urede, vrtiće i teretane, Holodeck je imao izražen i pozitivan učinak na agentovu sposobnost snalaženja u novim prostorima.

Znanstveni rad o razvoju Holodecka možete pronaći na ovoj poveznici.