Utak-Computer Interface Maaari Isalin Isipan Sa Speech

Ang mga Neuroengineer ay lumikha ng isang bagong sistema na maaaring isalin ang mga simpleng saloobin sa makikilala na pananalita, gamit ang artificial intelligence at isang synthesizer ng talumpati, ayon sa isang pag-aaral na inilathala Martes.

Ang isang pangkat ng mga mananaliksik na nakabatay sa New York ay nakapag-reconstruct ng mga salita na gumagamit lamang ng aktibidad ng utak, isang pagbabago na maaaring maghatid ng daan para sa mga teknolohiya na kinokontrol ng utak tulad ng, sabihin, isang smartphone na maaaring isalin ang iyong mga saloobin sa mga text message.

Si Dr. Nima Mesgarani, isang associate professor sa Columbia University, ang humantong sa pag-aaral at nagsasabi Kabaligtaran na nakikita niya ang magagandang potensyal upang makatulong sa pagpapanumbalik ng pananalita sa mga taong nakapagpapagaling sa isang stroke o nakatira sa amyotrophic lateral sclerosis (ALS). Dagdag pa sa linya, ang ganitong uri ng tech ay maaari ring magbukas ng mga pinto sa mga smartphone na konektado sa utak na maaaring hayaan ang mga gumagamit ng teksto gamit ang kanilang mga isip, bagaman ito ay isang paraan pa rin. Ang kanyang trabaho ay na-publish sa journal Mga Siyentipikong Ulat.

"Ang isa sa mga motivations ng gawaing ito … ay para sa mga alternatibong paraan ng pakikipag-ugnayan ng tao-computer, tulad ng isang posibleng interface sa pagitan ng isang gumagamit at isang smartphone," sabi niya. "Gayunpaman, malayo pa rin ito sa katotohanan, at sa ngayon, ang impormasyong maaaring makuha gamit ang di-nagsasalakay na mga pamamaraan ay hindi sapat para sa pagsasalita ng aplikasyon sa interface ng utak-computer."

Makinig sa pagsasalita na binuo ng interface ng utak-computer.

Upang bumuo ng bagong pamamaraan, si Mesgarani at ang kanyang kasamahan, si Dr. Ashesh Dinesh Mehta mula sa Northwell Health Physician Partners Neuroscience Institute, ay nagsimula sa pamamagitan ng pagsusuri sa aktibidad ng utak ng mga pasyenteng epilepsy para sa kanilang pag-aaral. Ang mga pasyente na ito ay nagkaroon ng mga electrode implants sa kanilang talino upang masubaybayan ang mga seizure, na ginamit ni Mesgarani at Mehta upang magtipon ng data para sa kanilang pananaliksik.

Ang duo ay humingi ng mga kalahok na makinig sa mga nagsasalita na bigkasin ang mga numero sa pagitan ng zero at siyam, at pagkatapos ay naitala ang mga signal ng utak mula sa pakikipag-ugnayan na iyon. Susunod, sinanay nila ang isang neural network - isang programa na nagsasangkot ng neuron structure sa utak ng tao - upang makilala ang mga pattern sa signal at i-translate ang mga ito sa robotic-sounding na mga salita gamit ang speech synthesizer, na kilala bilang isang vocoder.

Ang resulta ay isang maikling voice clip ng kung ano ang tunog tulad ng Microsoft Sam pagbibilang mula sa zero sa siyam. Ang kahanga-hangang bahagi ay kung gaano malinaw ang pagsasalita ay inihambing sa iba pang mga pamamaraan na sinubok ng mga mananaliksik. Gayon pa man, maraming trabaho ang dapat gawin.

"Maaaring tumagal ng isang dekada bago magagamit ang teknolohiyang ito," sabi ni Mesgarani. "Kailangan namin ng karagdagang pag-unlad sa parehong pang-matagalang, bio-compatible implantable electrodes at / o mga teknolohiya ng pagsisimula sa mga di-invasive neural recording methods. Kailangan din namin ng isang mas mahusay na pag-unawa sa kung paano ang utak ay kumakatawan sa pagsasalita, upang maaari naming pinuhin ang aming mga paraan ng pag-decode."

Halimbawa, ang mga pasyente na bahagi ng pag-aaral na ito ay nagkaroon ng operasyon sa utak upang maipasok ang mga monitor ng electrocorticography. Ito ay isang napaka-invasive na proseso na nangangailangan ng bukas na operasyon ng utak, isang bagay na hindi maaaring maging handa sa karamihan ng mga tao, kahit na may posibilidad na ibalik ang ilan sa kanilang kakayahan sa pagsasalita.

Sa ngayon, ipinakilala ng pag-aaral na ito ang isang paraan para i-decode ang mga signal ng utak sa pagsasalita. Kung alam namin kung paano tumpak na tuklasin ang aktibidad ng utak nang walang operasyon, magiging isang hakbang na malapit kami sa hindi lamang pagbabagong-anyo sa pagsasalita ng therapy, ngunit posibleng patungo sa pagdadala ng mga smartphone na konektado sa utak.

Ang pananaliksik sa pananaliksik sa utak-computer ay nakakatanggap ng bagong interes sa nakaraang ilang taon. Noong Abril 2017, inihayag ng Facebook na nagtatrabaho ito sa isang BCI sa panahon ng taunang kumperensyang F8 nito. At inihayag ni Elon Musk noong Nobyembre 2018 na si Neuralink, ang kanyang sariling BCI startup, ay nagtatrabaho.

Abstract

Ang pagpapaunlad ng pampasigla ng pandinig ay isang pamamaraan na nakakahanap ng pinakamahusay na approximation ng acoustic stimulus mula sa populasyon ng pag-uudyok ng aktibidad ng neural. Ang muling pagtatayo ng pananalita mula sa auditory cortex ng tao ay lumilikha ng posibilidad ng isang neuroprosthetic sa pagsasalita upang magtatag ng isang direktang pakikipag-usap sa utak at ipinakita na posible sa parehong mga pantao at lihim na mga kondisyon. Gayunpaman, ang mababang kalidad ng reconstructed na pananalita ay malubhang nililimitahan ang utility ng ganitong paraan para sa mga application ng utak-computer interface (BCI). Upang isulong ang state-of-the-art sa pagsasalita neuroprosthesis, pinagsama namin ang mga kamakailan-lamang na pag-unlad sa malalim na pag-aaral sa mga pinakabagong mga likha sa teknolohiya sa pagsasalita ng pagsasalita upang muling buuin ang closed-set intelligible speech mula sa human auditory cortex. Inimbestigahan namin ang pag-asa ng katumpakan sa muling pagtatayo sa mga linear at nonlinear (malalim na neural network) na mga paraan ng pagbabalik at ang tunog na representasyon na ginamit bilang target ng muling pagtatayo, kabilang ang mga pandinig na spectrogram at mga parameter ng synthesis ng pagsasalita. Bilang karagdagan, inihambing namin ang katumpakan ng pag-aayos mula sa mababa at mataas na mga saklaw ng dalas ng neural. Ang aming mga resulta ay nagpapakita na ang isang malalim na neural network model na direkta tinatantya ang mga parameter ng isang speech synthesizer mula sa lahat ng neural frequencies Nakakamit ang pinakamataas na subjective at layunin na mga score sa isang digit na pagkilala gawain, pagpapabuti ng katalinuhan sa pamamagitan ng 65% sa baseline na paraan na ginamit linear na pagbabalik sa muling buuin ang auditory spectrogram. Ang mga resultang ito ay nagpapakita ng pagiging epektibo ng malalim na pag-aaral at mga algorithm ng synthesis ng speech para sa pagdidisenyo ng susunod na henerasyon ng mga sistema ng pagsasalita ng BCI, na hindi lamang maibabalik ang komunikasyon para sa mga paralisadong pasyente kundi pati na rin ang potensyal na mag-ibang-anyo ng mga teknolohiya sa pakikipag-ugnayan ng tao-computer.

Kaugnay na Video: Ang Brain Wave Sensing Robots ay Makapaglilingkod bilang Mga Extension ng Human Body