在線客服
微信客服
咨詢電話
021-80392549
新研究利用人工智能將大腦信號轉(zhuǎn)換成語音和動畫表情
新華社北京8月28日電 美國加利福尼亞大學(xué)舊金山分校近日發(fā)布公報(bào)說，該校參與的研究團(tuán)隊(duì)開發(fā)出一種腦機(jī)接口，通過訓(xùn)練人工智能算法，成功將一名因腦干中風(fēng)而嚴(yán)重癱瘓的女性的大腦信號轉(zhuǎn)換成語音和動畫表情，使這名女性患者能夠通過“數(shù)字化身”與人交流。
加州大學(xué)舊金山分校和伯克利分校等機(jī)構(gòu)研究人員在這名癱瘓女性大腦表面植入一個(gè)由253個(gè)電極組成的薄如紙張的矩形設(shè)備。這些電極覆蓋了對語言功能至關(guān)重要的大腦區(qū)域。研究人員用一根電纜插入固定在患者頭部的接口上，將電極與一組計(jì)算機(jī)連接起來。
構(gòu)建這套系統(tǒng)后，研究團(tuán)隊(duì)在數(shù)周時(shí)間里對人工智能算法進(jìn)行系統(tǒng)訓(xùn)練，以識別這名女性患者獨(dú)特的大腦語音信號。這需要不斷重復(fù)不同的語句，涉及1024個(gè)單詞，直到計(jì)算機(jī)能識別與患者聲音相關(guān)的大腦活動模式。
研究人員并沒有訓(xùn)練人工智能識別完整的單詞，而是創(chuàng)建了一個(gè)系統(tǒng)可根據(jù)最小的語音單位音素來解碼單詞。就像字母組成書面單詞一樣，音素組成了口語單詞。例如，英文單詞“Hello”包含HH、AH、L和OW四個(gè)音素。利用這種方法，計(jì)算機(jī)只要學(xué)習(xí)39個(gè)音素就能破譯任何英文單詞，這提高了系統(tǒng)的準(zhǔn)確性和運(yùn)算速度。
為了重現(xiàn)患者的聲音，團(tuán)隊(duì)設(shè)計(jì)了一種語音合成算法，利用患者在自己婚禮上的講話錄音將語音個(gè)性化，使之聽起來像她受傷前的聲音。
研究人員還借助一款可模擬面部肌肉運(yùn)動并制作動畫的軟件為患者制作動畫頭像。研究人員創(chuàng)建了定制的機(jī)器學(xué)習(xí)過程，使這款軟件能夠識別這名女性試圖說話時(shí)大腦發(fā)出的信號，并將這些信號轉(zhuǎn)換成能夠表示快樂、悲傷和驚訝等情緒的面部動畫。
相關(guān)論文近日發(fā)表在英國《自然》雜志上。團(tuán)隊(duì)下一步計(jì)劃創(chuàng)建該系統(tǒng)的無線版本，使患者無需與腦機(jī)接口進(jìn)行物理連接。
新華社北京8月28日電 美國加利福尼亞大學(xué)舊金山分校近日發(fā)布公報(bào)說，該校參與的研究團(tuán)隊(duì)開發(fā)出一種腦機(jī)接口，通過訓(xùn)練人工智能算法，成功將一名因腦干中風(fēng)而嚴(yán)重癱瘓的女性的大腦信號轉(zhuǎn)換成語音和動畫表情，使這名女性患者能夠通過“數(shù)字化身”與人交流。
加州大學(xué)舊金山分校和伯克利分校等機(jī)構(gòu)研究人員在這名癱瘓女性大腦表面植入一個(gè)由253個(gè)電極組成的薄如紙張的矩形設(shè)備。這些電極覆蓋了對語言功能至關(guān)重要的大腦區(qū)域。研究人員用一根電纜插入固定在患者頭部的接口上，將電極與一組計(jì)算機(jī)連接起來。
構(gòu)建這套系統(tǒng)后，研究團(tuán)隊(duì)在數(shù)周時(shí)間里對人工智能算法進(jìn)行系統(tǒng)訓(xùn)練，以識別這名女性患者獨(dú)特的大腦語音信號。這需要不斷重復(fù)不同的語句，涉及1024個(gè)單詞，直到計(jì)算機(jī)能識別與患者聲音相關(guān)的大腦活動模式。
研究人員并沒有訓(xùn)練人工智能識別完整的單詞，而是創(chuàng)建了一個(gè)系統(tǒng)可根據(jù)最小的語音單位音素來解碼單詞。就像字母組成書面單詞一樣，音素組成了口語單詞。例如，英文單詞“Hello”包含HH、AH、L和OW四個(gè)音素。利用這種方法，計(jì)算機(jī)只要學(xué)習(xí)39個(gè)音素就能破譯任何英文單詞，這提高了系統(tǒng)的準(zhǔn)確性和運(yùn)算速度。
為了重現(xiàn)患者的聲音，團(tuán)隊(duì)設(shè)計(jì)了一種語音合成算法，利用患者在自己婚禮上的講話錄音將語音個(gè)性化，使之聽起來像她受傷前的聲音。
研究人員還借助一款可模擬面部肌肉運(yùn)動并制作動畫的軟件為患者制作動畫頭像。研究人員創(chuàng)建了定制的機(jī)器學(xué)習(xí)過程，使這款軟件能夠識別這名女性試圖說話時(shí)大腦發(fā)出的信號，并將這些信號轉(zhuǎn)換成能夠表示快樂、悲傷和驚訝等情緒的面部動畫。
相關(guān)論文近日發(fā)表在英國《自然》雜志上。團(tuán)隊(duì)下一步計(jì)劃創(chuàng)建該系統(tǒng)的無線版本，使患者無需與腦機(jī)接口進(jìn)行物理連接。
