VIDEO: AI model generira realne ljudske pokrete

Svi koji se bave animacijama, video igrama i robotima, s ciljem da se likovi kreću na što prirodniji način poput ljudi, suočeni su s brojnim poteškoćama, jer su ljudski pokreti toliko kompleksni pa je potrebno uložiti puno truda, pri čemu se najčešće koristi takozvano potpomognuto učenje ili se pokreti jednostavno preslikavaju s ljudi motion captureom.

Takav način animiranja avatara ovisi jako puno o ljudima koji s njima upravljaju, a rezultati su obično svedeni na izvođenje određenih radnji u određenim prostorima.

Švicarski istraživači s Instituta Max Planck za inteligentne sustave i ETH Zurich razvili su WANDR, novi model koji može generirati prirodne ljudske pokrete za avatare potpuno automatizirano, isključivo na temelju podataka, bez potpomognutog učenja i drugih metoda.

WANDR je uvjetni varijacijski autokoder (c-VAE) koji generira realno kretanje ljudskih avatara koji se kreću prema proizvoljnoj ciljnoj lokaciji i posežu za njom te je vođen aktivnom povratnom spregom naučenom isključivo iz podataka.

c-VAE uči modelirati kretanje kao proces generiranja automatskim kodiranjem razlike u pozi između dva susjedna okvira. Signal stanja sastoji se od trenutne poze i dinamike čovjeka zajedno s informacijama o namjeri. Namjera je funkcija trenutne poze i ciljne lokacije i stoga aktivno vodi avatar tijekom generiranja pokreta na način zatvorene petlje.

Kroz trening, c-VAE uči distribuciju potencijalnih naknadnih poza uvjetovanih trenutnim dinamičkim stanjem čovjeka i njegovom namjerom prema određenom cilju. WANDR se trenira koristeći dva skupa podataka: AMASS, koji bilježi širok raspon pokreta uključujući kretanje, i CIRCLE, koji bilježi pokrete dosezanja. Tijekom zaključivanja, značajke namjere izračunavaju se na temelju cilja i djeluju kao povratna petlja koja vodi generiranje pokreta prema cilju, kao što objašnjavaju u ovom videu.

Budući da WANDR generira kretanje autoregresivno, značajke namjere ažuriraju se u svakom okviru. To omogućuje modelu da se prilagodi ciljevima koji se mijenjaju tijekom vremena.

Model je obučen na podacima iz različitih skupova podataka i izvora. Odgovarajućim miješanjem podataka iz tih izvora, model proizvodi prirodnije pokrete, dopuštajući avataru da postigne proizvoljne ciljeve u svom okruženju.

U budućnosti, novi model koji je predstavio ovaj tim istraživača mogao bi pomoći u stvaranju novih sadržaja za videoigre, VR aplikacije, animirane filmove i zabavu, omogućujući ljudskim likovima da izvode realističnije pokrete tijela, a mogao bi se primijeniti i na humanoidne robote opće namjene.

Istraživanje će biti objavljeno na Konferenciji o računalnom vidu i prepoznavanju uzoraka (CVPR 2024) u lipnju, a rad objavljen na arXivu možete pronaći na ovoj poveznici.