Maaaring ipagpalit ng Bagong Teknolohiya ang mga Ekspresyon ng Mukha sa Real Time

$config[ads_kvadrat] not found

Week 2

Week 2
Anonim

Tandaan na ang Bizarro World "Myidol" na app na nagpunta viral sa tagsibol dahil sa kakayahang gamitin ang facial recognition software upang makagawa ng isang digital na avatar na mukhang at gumagalaw eksakto karamihan ay katulad mo? Iyon ay upang maging isang katotohanan … uri ng.

Napag-isipan ng mga mananaliksik sa Stanford kung paano mailipat ang mga ekspresyon ng mukha ng isang tao sa ibang tao sa real time sa pamamagitan ng video.

Ang modelo na ipinakita sa demonstration video ng Stanford ay gumagamit lamang ng isang consumer-grade PC at malalalim na kamera para sa bawat aktor - ibig sabihin hindi mo kinakailangang kailangan ang mga gamit na magarbong upang maisagawa ang tromp l'oeil na ito, kakailanganin mo lamang ang ilang kumplikadong mga algorithm.

Ang mga mananaliksik ay bumuo ng isang bagong real-time na algorithm na kumukuha ng mataas na kalidad na mga visual ng mga mukha ng bawat kalahok at ginagamit ang mga ito upang baligtarin ang mga expression mula sa isang "source actor" (ang taong nagbibigay ng facial expression at / o pagsasalita) sa isang "target na aktor" (ang tao na ang mukha ay manipulahin ayon sa kung ano ang pinagmulan ng aktor). Ang visual na impormasyon ng pinagmulan ng aktor ay napupunta sa pamamagitan ng programa at nakukuha sa ibabaw ng video stream ng target na aktor, kaya mukhang ang aktibong aktor ay nakangiting, nakikipag-usap, nananatili ang kanyang dila, o anumang naisip.

Salamat sa isang serye ng mga reference point na nakalagay sa paligid ng mukha (katulad ng Myidol app), ang mga uri ng visual na impormasyon na sinusukat ng system ay ang hugis ng mukha at mga tampok (tulad ng iyong mga mata, ilong, bibig, at kahit wrinkles) pati na rin facial texture at depth. Pagkatapos ng programa ay tumutugma sa reference point ng pinagmulan ng aktor sa target na aktor at superimposes mga expression sa target para sa isang hyper-makatotohanang feed ng video.

Dahil ang sistemang ito ay pa rin sa mga gawa (at medyo paunang kagamitan ay ginamit), ang mga resulta ng pagtatapos ay pa rin ng kaunti kataka-taka - tulad ng semi-nakakagambalang faux ngipin ang programa superimposed sa loob ng bibig ng target kaya walang gaping itim na butas kapag ito ay " bukas "(tingnan sa itaas) … pati na rin ang uri ng blangko na pagtingin sa mga mata ng target. Ngunit ang mga ito ay maliit na fries kumpara sa kung ano ang mga cool na bagay na pag-unlad ng programang ito ay nangangahulugan para sa amin.

Narito ang ilang mga ideya para sa kung ano ang maaari naming gamitin ang tech na ito para sa:

  • Mayroon kang isang mahalagang pakikipanayam sa trabaho sa Skype, at hindi ka bihis para sa tagumpay. Gumamit lamang ng isang magarbong istilo ng pananamit habang binibigyan mo ang mga ekspresyon ng mukha at mga sagot sa interbyu ng mamamatay.
  • Nanonood ka ng live-stream na panayam mula sa isang nangungunang propesor sa Alemanya - ang tanging problema ay hindi ka nagsasalita ng Aleman. Huwag mag-alala, salamat sa isang real-time na tagasalin gamit ang software na ito, maaari mong panoorin ang prof maghatid ng kanyang pagsasalita sa iyong katutubong wika nang walang anumang nakakainis na pagkawala ng dumi ng pagkaantala sa mga visual.

Panoorin ang expression-swap in action:

$config[ads_kvadrat] not found