Harapin ang Musika: Paano ang "Conductor ng Mata" Tumutulong sa Paralytics Rock ang Fuck Out

Si Andreas Refsgaard, isang taga-disenyo ng pakikipag-ugnayan at creative coder na naninirahan sa Amsterdam, ay nagdisenyo ng isang musikal na interface na nagbibigay-daan sa mga taong may mga kapansanan sa pisikal na gumawa ng musika. Ang Eye Conductor ay gumagamit ng software sa pagsubaybay sa mata at webcam ng computer upang isalin ang mga paggalaw ng mukha sa iba't ibang bahagi ng musikal na komposisyon. Ang mga gumagamit ay maaaring sanayin ang kanilang mga sarili upang i-play ang bagay sa kanilang mukha, na nangangahulugang paralisadong mga tao - mga taong hindi na maaaring maglaro ng mga instrumento - ay maaaring magkaroon ng pangalawang pagkakataon sa paggawa ng mga magagandang (o malakas na tunog) na mga tunog. Ang tamang pagtingin ay literal na sumasalungat sa isang chord sa imbensyon ng Refsgaard. Ang tamang pagpapahayag ay nagpapahayag nang malakas.

Nagsalita ang refsgaard Kabaligtaran tungkol sa pagganyak sa likod ng kanyang proyekto, ang mga pakikibaka na kanyang pinuntahan, at kung ano ang natutunan niya kung ano ang ibinigay niya sa mga tao na nawala ang kakayahang gumawa ng musika ng isa pang pagkakataon.

Ano ang iyong background sa musika?

Hindi ko tatawagan ang sarili ko ng isang musikero dahil nag-play lang ako para sa kasiyahan, ngunit naglalaro ako ng gitara at bass. Ang Ableton ay isang programa ng musika, isang digital na istasyon ng trabaho na katulad ng pag-record ng mga softwares tulad ng Logic o Protools o Garage Band. Kinuha ko ang isang kurso sa ito, at ako ay hindi na mahusay sa paggawa ng musika sa mga ito ngunit ako ay nabighani sa pamamagitan ng mga posibilidad na nakita ko. Pagkatapos ay sinimulan naming makipagtulungan at gawin ang ilang mas artsy na pag-install-uri ng mga bagay-bagay kung saan siya ay magdisenyo ng mga tunog at Gusto ko hook up sensors, halimbawa isang malalim na camera kaya kapag lumakad ang mga tao nakaraan, sila ay pagkontrol ng ilang mga aspeto ng proyekto.

Kaya ikaw ay isang tagaplano ng pakikipag-ugnayan at malikhaing tagapagkodigo. Maaari mo bang ipaliwanag kung ano ang ibig sabihin ng mga pamagat na iyon?

Ang lahat ng mga bagay na dinisenyo ko ay interactive. Kaya kung ako ay gumawa ng ilang uri ng mga muwebles, pagkatapos ay mayroon itong ilang mga pag-andar na gagawin ito reaksyon sa isang bagay. Ako ay isang creative coder din. Kung ikukumpara sa maraming iba pang mga tao - halimbawa, nag-aral ako sa Copenhagen sa Copenhagen Institute of Interaction Design kung saan ang mga tao ay nagmula sa maraming iba't ibang mga pinagmulan - Ako ay medyo higit pa sa coding side. Tinatawag din akong sarili ko na "creative coder" dahil hindi ako tamang tagapagkodigo. Hindi ako magandang sa ito ngunit maaari kong gawin ang ilang mga bagay-bagay talagang mabilis at maaari ko ikonekta ang mga bagay at ako ay mahusay sa darating na may mga ideya ng nobelang.

Ano itong inspirasyon sa pagtulong sa mga taong may kapansanan sa pisikal na gumawa ng musika?

Pagkatapos ng high school sa loob ng dalawa o tatlong buwan ako ay isang tagapag-alaga para sa isang taong may dystrophy ng laman. Ang pagiging kasama niya sa lahat ng oras ay nakapagtanto sa akin ng ilan sa mga bagay na hindi ko matutulungan sa kanya. Ang isa sa kanila ay nagpahayag ng kanyang sarili sa isang malikhaing paraan. Hindi naisip ko, "Okay dito ang problema na kailangan kong lutasin," dahil sa panahong iyon ay bata pa ako at walang anumang mga kasanayan sa propesyon. Ngunit natigil ito sa akin.

Ano ang tungkol sa mga tuntunin ng teknikal na inspirasyon?

Ang isang proyektong tinatawag na Eyewriter na nakita ko mga isang taon na ang nakararaan ay isang pagpipinta programa na idinisenyo para sa isang taong dating grafiti artist ngunit pagkatapos ay paralisado. Ang ilan sa kanyang mga kaibigan ay coders at gumawa ng isang kasangkapan para sa kanya na may pagsubaybay sa mata na ginawa sa kanya upang gumuhit. At pagkatapos dahil ako ay naglalaro sa paligid na may mga sensor at mga bagay-bagay sa software ng musika, gumawa ako ng isang koneksyon. Ginawa ko ito bilang aking huling proyekto sa paaralan.

Paano naging ang larangan ng musika na gusto mong tuklasin?

Sa palagay ko marahil dahil masaya ako sa musika ng marami sa aking sarili at sa mga tuntunin ng oras na mayroon ako para sa proyekto. Ito ay naging malinaw na ang musika ang gusto kong magtrabaho. Pagkatapos ay napaka-inspirasyon ako ng Eyewriter sa mga tuntunin ng paggawa ng mga graphics.

Ang musika ay parang isang mahusay na pagpipilian dahil ito ay unibersal. Hindi ko maisip ang sinumang ayaw ng musika.

Sa simula talagang gusto kong subukan kung gaano kahalaga ang musika para sa grupo na dinisenyo ko. Ang mga unang hakbang lamang ay nagmamasid kung paano nakikipag-ugnayan ang mga taong may iba't ibang pisikal na kapansanan sa musika. Ang isang tahanan na binisita ko ay may Huwebes ng Musika. Ang ilan ay maaaring magturo nang kaunti o maglaro ng kaunti sa isang keyboard, at ang ilan ay hindi maaaring gumawa ng anumang bagay, ngunit ang katotohanan ay nagpapakita sila para sa Mga Huwebes ng Musika.

Sa pagitan ng pagmamasid at pagkatapos ay ginagawa ang aparato, gaano katagal ito?

Kadalasan sa isang proseso ng disenyo ang mga magiging dalawang hiwalay na bagay, ngunit hindi ko gusto ang diskarte na iyon. Gusto ko ang pagtatayo mula sa simula at pagkatapos ay kapag may mga pag-uusap ako tungkol sa kung ano ang aking binuo. At pagkatapos ay baguhin ko o pinuhin ito.

Ano ang gusto mong makita ang mga taong gumagamit nito sa unang pagkakataon?

Napakaganda nito, oo. Dahil ang ilan sa mga tao ay hindi makapagsalita, ang koneksyon ay maaaring maging mahirap. Ngunit kapag ginamit nila ang aking Eye Conductor, kami ay talagang konektado. Tinitingnan nila ako at nakangiti o kumikilos na talagang masaya o kapag ipinakita ko lang talaga sila talaga nakatuon. Ito ay isang magandang halimbawa ng paraan ng musika ay maaaring makatulong sa mga tao na makipag-ugnay at ipahayag ang damdamin.

Nang walang masyadong teknikal, ano ang pinakamalaking problema na iyong binalaan habang ikaw ay nagdidisenyo ng Eye Conductor?

Para sa sistema na magtrabaho kailangan mong umupo sa parehong pose habang nakaupo kami ngayon sa harap ng aming mga laptop dahil ang imahe na nakikita mo sa akin ngayon ay tuwid at mabuti para sa pagsubaybay sa aking mukha at mata. Ngunit kung ikaw ay may isang taong nasa isang wheelchair na walang kontrol sa kanilang pustura o sa kanilang likod o leeg, halimbawa, minsan kung minsan ay umupo nang mas patagilid at hindi masusubaybayan ng system ang kanilang mga paggalaw sa mukha. At kung minsan ay hindi magiging komportable para sa akin na subukan na sabihin, "Ok para magtrabaho na kailangan mong umupo sa straighter." At pagkatapos ay sa mga ito ay hindi nagsasalita, paano namin makipag-usap ito?

Kung ang ulo ng isang tao ay tilted tulad na, maaari mong theoretically hawakan ang laptop sa isang paraan na picks up ang kanilang mga facial gestures?

Yeah. Kaya hindi ko talaga nasubukan ang paglutas ng isyu na iyon ngunit maraming tao ang may mga computer na naka-mount sa kanilang wheelchairs at ang computer ay nasa isang poste at pagkatapos ay sa poste na may isang mounting device at binubuklat nila ito sa tamang direksyon upang ituro sa mukha ng tao. Walang posisyon na tama o mali, ito ay tungkol lamang sa pagkuha ng sensors - kung saan ay ang webcam at isang tracker ng mata - upang maging tuwid sa para sa ulo. Iyon ay medyo mahirap. Ito ay higit pa sa isang bagay na hardware dahil sa kabilang banda ay kailangan kong subukan at bumuo ng isang istraktura at na ay magulo. Hindi ako masyadong magandang sa na.

Ginawa mo ba ang buong bagay sa pamamagitan ng iyong sarili o nakarating ka ba sa mga teknikal na isyu na tanging alam ng ibang tao kung paano lutasin?

Ginawa ko ito sa pamamagitan ng aking sarili ngunit sa tunog disenyo gilid Nakatanggap ako ng tulong mula sa propesor na sinabi ko sa iyo tungkol sa. Talaga lang tunog ng mga bagay na disenyo. Mayroon din akong tagapayo na nagbigay sa akin ng ilang mga payo sa mga tuntunin ng isang programming language na tinatawag na Max, kung saan siya ay talagang mahusay sa. Tinulungan lang niya ako upang maging mas komportable sa ilang mga detalye ng programming. Siyempre marami sa mga ito ay bago ngunit ang mga pangunahing kaalaman sa ito ko na alam mula sa nakaraang karanasan. Ginawa ko ang Eye Conductor sa walong linggo at ang mga tao ay nagsabi, "Oh na mabaliw kung paano mo ito gagawin sa loob ng walong linggo?" Ngunit gumawa ako ng ilang iba pang mga bagay na advanced din sa mga tuntunin ng pakikipagtulungan sa mga sensors at software ng musika at na kinuha mas mahaba dahil Hindi ko alam kung paano gawin ito. Ngayon na alam ko na ito ay hindi bilang mahirap, kahit na ang proyektong ito ay mas kumplikado. Mahalaga rin sa akin na ituro na ito ay isang ganap na nagtatrabaho prototype ngunit hindi ito isang produkto. Kaya hindi maaaring lumabas ang mga tao at bilhin ito at i-install ito sa aking computer.

Hihilingin ko sa iyo kung may plano kang ibenta ito?

Hindi ko talaga gustong ibenta ito, gusto kong ibigay ito. Gusto kong gawing isang bukas na pinagmulan ngunit hindi ko maipangako ang anumang bagay ngayon. Wala akong pondo para dito at mayroon akong trabaho at iba pang mga bagay na dapat gawin. Nakatanggap ako ng mensahe mula sa isang lalaki sa Michigan halimbawa na dating isang producer at pagkatapos ay nakakuha siya ng ALS. Kailangan ko itong gawin sa anumang paraan sa lahat ng mga taong ito. Ito ay napakahalaga para sa akin na sa isang punto, at hindi ko maipangako kung kailan ngunit inaasahan na sa lalong madaling panahon, pakete ito sa isang paraan upang ang mga tao ay maaaring i-download ang lahat ng ito bilang isang bagay at ito ay tatakbo sa karamihan sa mga computer o talagang subukan ito sa browser. Ang ideya sa likod ng paggawa ng isang bagay sa browser ay nangangailangan lamang ng mga tao na magkaroon ng isang computer na may online na access at pagkatapos ay magkaroon ng anumang kapalit para sa isang mouse na maaaring mayroon sila sa kanilang computer. Kung gagawin ko itong bukas na mapagkukunan maaari kong ibigay ang pangunahing demo at pagkatapos ay ang mga tao ay maaaring magdagdag ng kanilang sariling mga twists upang gawin itong kanilang sarili.

Maganda mong marinig na ginagawa mo ito dahil gusto mong tulungan ang mga tao at hindi dahil gusto mong makakuha ng mayaman o katulad nito.

Ang mga tool na binuo ko ito sa - hindi bababa sa nagtatrabaho prototype - ay open source. Bakit ko makuha ang credit? Halimbawa, ang system ng pagsubaybay sa mukha na ginagamit ko para sa aking prototype na nagbibigay-daan sa mga tao na lumikha ng tunog sa pamamagitan ng pagpapataas ng kanilang mga kilay o pagbubukas ng kanilang mga bibig, iyon ay isang bagay na tinatawag na FaceOSC na ginawa ng isang lalaking nagngangalang Kyle McDonald at iyan ay isang open source system. Hindi sa tingin ko ay nakuha ko na ang layo ko ginawa nang walang piraso ng software.