Dosezite in dotaknite predmete v videoposnetkih z »Interactive Dynamic Video«

Garmin Forerunner 645 Music: Vrhunska tekaška ura GPS (Julij 2019).

Anonim

Veliko se naučimo o predmetih z manipulacijo z njimi: poking, potiskanje, prodor in nato videli, kako reagirajo.

Očitno to ne moremo storiti z videoposnetki - samo poskusite se dotakniti tega videa mačk na telefonu in videti, kaj se zgodi. Ampak ali je nora misliti, da bi lahko vzeli ta videoposnetek in simulirali, kako se mačka premika, ne da bi kdaj koli sodelovala z resničnim?

Raziskovalci iz MIT-ovega računalniškega in umetniškega inteligenčnega laboratorija (CSAIL) so pred kratkim storili prav to, razvijali tehniko slikanja, imenovano Interactive Dynamic Video (IDV), ki vam omogoča doseganje in dotikanje predmetov v videoposnetkih. Z uporabo tradicionalnih kamer in algoritmov, IDV raziskuje majhne, ​​skoraj nevidne vibracije predmeta za ustvarjanje video simulacij, s katerimi lahko uporabniki praktično komunicirajo.

"Ta tehnika nam omogoča, da zajamemo fizično obnašanje predmetov, kar nam daje način igranja z njimi v virtualnem prostoru, " pravi študent CSAIL PhD Abe Davis, ki bo ta mesec objavil delo za njegovo dokončno disertacijo. "Z ustvarjanjem videoposnetkov lahko predvidimo, kako se bodo objekti odzvali na neznane sile in raziskali nove načine za sodelovanje z videoposnetki."

Davis pravi, da ima IDV veliko možnih uporab, od ustvarjalcev filmov, ki arhitektom ustvarjajo nove vrste vizualnih učinkov, ki določajo, ali so zgradbe strukturno zdrave. Na primer, kaže, da v nasprotju s tem, kako lahko priljubljena aplikacija Pokemon Go spusti navidezne znake v okolje v realnem svetu, lahko IDV naredi korak naprej, s tem da virtualnim objektom (vključno z Pokemonom) omogoči interakcijo z njihovimi okolji v določenih, realistične načine, na primer odskakanje listov bližnjega grmlja.

Tehnika je opisal v prispevku, ki ga je letos objavil študent PhD Justin G. Chen in profesor Fredo Durand.

Kako deluje

Najpogostejši način simuliranja gibanja predmetov je izdelava 3-D modela. Na žalost je 3D-modeliranje drago in je za mnoge predmete skoraj nemogoče. Medtem ko obstajajo algoritmi za sledenje gibanj v videoposnetku in njihovo povečanje, ni mogoče tiste, ki lahko zanesljivo simulirajo predmete v neznanih okoljih. Delo Davisa kaže, da ima lahko celo pet sekund videoposnetka dovolj informacij za ustvarjanje realnih simulacij.

Da bi simulirali predmete, je skupina analizirala video posnetke, da bi našli "načine vibracij" na različnih frekvencah, od katerih vsak predstavlja različne načine, na katere se lahko premika predmet. Z določitvijo oblik teh načinov lahko raziskovalci pričakujejo, kako se bodo ti predmeti premaknili v novih situacijah.

"Računalniška grafika nam omogoča uporabo 3-D modelov za izgradnjo interaktivnih simulacij, vendar so tehnike lahko zapletene, " pravi Doug James, profesor računalništva na univerzi Stanford, ki ni sodeloval v raziskavi. "Davis in njegovi kolegi so zagotovili preprost in pameten način, da bi iz zelo majhnih vibracij v videu dobili koristen model dinamike in pokazali, kako ga uporabiti za animacijo slike."

Davis je uporabil IDV na video posnetkih različnih predmetov, vključno z mostom, džungli in ukelele. Z nekaj kliki z miško je pokazal, da lahko potiska in povleče sliko, ki se nagiba in premika v različnih smereh. On je celo pokazal, kako lahko naredi svojo roko, da telekinetično nadzoruje listje grmovja.

"Če želite modelirati, kako se obnaša objekt in se odziva na različne sile, pokažemo, da lahko opazujete objekt, ki se odziva na obstoječe sile, in domnevati, da se bo odzival na nove, " pravi Davis, ki je tudi ugotovil, tehnika deluje tudi na nekaterih obstoječih videoposnetkih v YouTubu.

Aplikacije

Raziskovalci pravijo, da ima orodje veliko potencialne uporabe v inženiringu, zabavi in ​​še več.

Na primer, v filmih je lahko težko in drago, da se CGI znaki realno interakcijo s svojimi dejanskimi okolji. S tem je filmskim ustvarjalcem treba uporabiti zelene zaslone in ustvariti podrobne modele virtualnih predmetov, ki jih je mogoče sinhronizirati z živimi predstavami.

Toda z IDV lahko videoposnetek posname videoposnetek obstoječega okolja v realnem okolju in naredi nekaj manjših sprememb, kot so maskiranje, podiranje in senčenje, da bi dosegli podoben učinek v veliko krajšem času - in delček stroškov.

Inženirji bi lahko sistem uporabili tudi za simulacijo, kako bi se stara zgradba ali most odzvala na močne vetrove ali potres.

"Sposobnost postavljanja predmetov iz stvarnega sveta v navidezne modele je dragocena ne le za očitne zabavne aplikacije, temveč tudi za to, da lahko testiramo stres v varnem navideznem okolju na način, ki ne škoduje resničnemu nasprotniku, "pravi Davis.

Pravi, da se hoče videti tudi druge aplikacije, od študija športnega filma do ustvarjanja novih oblik virtualne resničnosti.

"Ko pogledate VR podjetja kot Oculus, pogosto simulirajo virtualne predmete v realnih prostorih, " pravi. "Tovrstno delo postane na svoji glavi, kar nam omogoča, da vidimo, kako daleč lahko gremo v smislu zajemanja in manipuliranja resničnih objektov v virtualnem prostoru."

To delo je podprla Nacionalna znanstvena fundacija in Katarski raziskovalni inštitut za računalništvo. Chen je tudi prejela podporo iz raziskave Shell v okviru pobude MIT Energy.

menu
menu