Sa loob ng Pinscreen's Secretive Augmented Reality at CGI

Ang pinalawak na katotohanan at mukha-pagpapalit ay mukhang mainit na mga kandidato para sa susunod na mga mobile na app; tingnan lamang ang pagbili ng Facebook ng MSQRD o pagkuha ng Snapchat ng Looksery. Ngunit isang AR startup na tinatawag na Pinscreen, kasalukuyang naka-back sa tune ng $ 1.8 milyon mula sa Lux Capital at Colopl VR Fund, ay naghahanap upang magawa ang mga bagay na naiiba sa lugar na ito. Kabaligtaran nagsalita eksklusibo sa tagapagtatag ng Pinscreen Hao Li tungkol sa kung ano ang maaaring maging maaga para sa mga ito lihim na kumpanya.

Maaaring hindi mo naririnig ang tungkol kay Hao Li, ngunit malamang na nakita mo ang pananaliksik ng USC Assistant Professor na ito sa pagkilos sa ilang mga blockbuster na pelikula. Habang nagtatrabaho sa visual effects studio na Industrial Light & Magic, nakatulong si Li na bumuo ng ilang mga tool na nagpapagana ng pagkuha ng real-time na pagganap. Ang ideya ay ang isang aktor ay maaaring umupo sa harap ng isang computer na may isang web camera, kumilos ng isang eksena, at pagkatapos na ang pagganap ay isasalin - sa real-time - sa isang CG character.

Ginawa rin ni Li ang malawak na pananaliksik sa ibang mga lugar, kasama na ang paglikha ng mga modelong 3D ng mga totoong tao sa real-time, at kinukuha ang mahahalagang bahagi ng kanilang pagkakahawig, lalo na ang mga mukha at buhok. Karamihan sa mga kamakailan lamang, nagpakita si Li ng pananaliksik na ginawa niya at ng iba pa sa pagkuha ng isang pagganap mula sa isang tao na may isang solong camera, at nagsasalin nito sa isang digital na character.

Sa una, ito ay hindi tunog kaya nobelang. Mayroong isang bilang ng mga solusyon sa pagsubaybay sa mukha sa pag-unlad, kapwa para sa mga mobile na app at mas higit pang mga sopistikadong sistema tulad ng Faceshift (binili ni Apple sa 2015). Ngunit marami sa mga ito ang umaasa sa malalalim na sensor, na hindi nangangailangan ng teknolohiya ni Li. Ang diskarte na iyon, sabi niya, ay ibang-iba.

"Kung mayroon kang isang malalim na sensor, ang kailangan mo lang ay i-optimize ang mga parameter ng isang modelo ng mukha upang ang modelo ay umaangkop sa 3D input mas malapit hangga't maaari," paliwanag ni Li. "Ngunit sa kaso ng isang dalisay na RGB input, ang buong mundo ay inaasahang papunta sa isang dalawang dimensyon na imahe na walang kilalang mga parameter ng kamera tulad ng mga focal length. Kaya't ang isang tumpak na modelong mukha ng 3D ay dapat na inferred mula sa inaasahang imahen na ito at magagawang mahawakan ang isang malawak na hanay ng mga kondisyon ng pag-iilaw gayundin ang mga pagpapakita ng iba't ibang mga paksa."

Kaya ang kahalagahan ng pananaliksik ni Li sa mga 3D na avatar. Kapag ang pagmamapa ng mukha ng isang tao, maraming mga programa sa pagma-map ay may problema sa pagharap sa mga visual na obstacle tulad ng buhok at baso. Upang maiwasan ang problemang iyon, ang Pinscreen ay "binuo ng isang malalim na convolutional neural network na maaaring matutunan kung paano i-segment ang isang rehiyon ng mukha sa isang ganap na hindi mapigilan na imahe."

Kaya, ano ang Pinscreen gamit ang nakatutuwang advanced na teknolohiya para sa, gayon pa man?

"Kami ay magiging isang bagong uri ng social media / komunikasyon platform na may ilang mga kawili-wiling AR kakayahan," sabi ni Li. "Hindi ito magiging isang app tulad ng Snapchat lenses o MSQRD, na para sa karamihan ng mga tao lamang na interesante sa loob ng ilang minuto."

Kaya, iyan ay hindi higit pa kaysa sa buzzwords para sa ngayon. Subalit, naghahanap ng mas malalim, ang kanyang naunang trabaho ay nagpapahiwatig na umaasa silang bumuo ng kakayahang subaybayan ang mukha ng isang tao sa kabila ng anumang buhok, baso o iba pang mga bagay na nakaharang sa pagtingin sa isang kamera. Idagdag sa ilang mga augmented katotohanan, at ang kalangitan ay ang limitasyon para sa mga pelikula, social media, at mga laro.

Ito ay tunog sa halip groundbreaking, ngunit ito ay mahalaga upang tandaan na Li at ang kanyang koponan ay hindi lamang ang mga pananaliksik sa lugar na ito. Ipinakita ng Disney kamakailan ang pagkuha nito sa real-time na pag-capture ng facial performance, tulad ng iba pang mga mananaliksik na may tool na tinatawag na Face2Face. Kasama rin ang nabanggit na Faceshift, kasama ang Facebook at Snapchat, na nagsimula ring nagpakita ng kanilang mga paninda.

Kaya bakit naiiba ang tech ng Pinscreen? Inihayag ni Li ang solusyon ng kanyang kumpanya ay "mas matibay at maaaring magpahiwatig ng mas tumpak na mga modelong 3D, dahil tahasang namamahala kami ng mga okasyon."

"Ang aming pinakamahalagang pagbabago ay isang teknolohiya na nagpapahintulot sa amin na bumuo ng isang kumpletong 3D ulo modelo kabilang ang buhok mula sa anumang larawan awtomatikong," sabi niya. "Ang ganitong uri ng gawain ayon sa kaugalian ay nangangailangan ng isang skilled CG modeler at rigger upang makagawa, ngunit maaari naming buuin ito ganap na awtomatikong. Ang pinakabagong mga papeles na iniharap sa SIGGRAPH (ang nangungunang computer graphics at interactive na diskarte sa pagpupulong) ay nangangailangan din ng maraming mga imahe ng pag-input bilang input - nakatuon kami sa solusyon sa minimal na kinakailangan sa pag-input, isang solong 2D na imahe.

Siyempre, hanggang sa makita at ginagamit ng mga tao ang anumang app mula sa Pinscreen, ang tagahatol ay mananatili tungkol sa mga kakayahan nito. Gayunpaman, ang pagkakaiba dito ay ang Li ay tiyak na may matatag na kasaysayan ng pananaliksik at pagbabago sa likuran niya, lalo na sa paggawa ng mga digital na avatar.

Si Li ay malinaw na tiwala sa mga posibilidad ng Pinscreen sa espasyo ng social media. "Tulad ng aming teknolohikal na demokratisasyon sa henerasyon ng mga 3D na avatar, magkakaroon ito ng mga halatang aplikasyon sa mga laro, mga aplikasyon ng VR / AR para sa immersive communication, o mga ahente ng AI," sabi niya, "ngunit sa palagay ko ay lilikha kami ng pinaka-cool na application sa ating sarili, ang social medial platform na binubuo namin.

"Karamihan mahalaga," idinagdag niya, "gusto naming bumuo ng isang bagay na nagbibigay-daan sa mga tao na lumikha ng talagang kagiliw-giliw na nilalaman nang walang pangangailangan para sa mga mamahaling pipeline ng VFX ngayong araw at magagamit ang tunay na nilalamang AR upang kumonekta sa isa't isa."

Ito tunog tulad ng kung Pinscreen ay isama ang hanay ng mga teknolohiya Li at ang kanyang koponan ay nagtatrabaho sa. Ngunit, sabi niya, iyan lamang bahagi ng plano. "Ang tech demo ay talagang lamang ng isang tampok ng kung ano ang pinaplano naming gamitin," sabi niya. "Pinscreen ay magiging isang bagay na mas malaki at ang tech ay magiging isang kagiliw-giliw na tampok sa simula. Magkakaiba rin kami kaysa iba pang platform ng social media."

Sa ngayon, ang Pinscreen ay pa rin ng isang misteryo at tila kami ay maghintay lamang upang makita kung ano ang mayroon sila sa tindahan.