加州大學伯克利分校和加州大學舊金山分校的研究人員開發(fā)了一種腦機接口系統(tǒng)，能夠讓嚴重癱瘓的人恢復自然的語言能力。這項創(chuàng)新解決了語音神經(jīng)假體領(lǐng)域長期存在的難題，在《自然神經(jīng)科學》雜志發(fā)表的一項研究中進行了詳細介紹，代表著在為失去說話能力的人提供實時通信方面邁出了重大一步。

研究團隊利用人工智能的進步解決了延遲問題（即人們說話的意圖和發(fā)出聲音之間的延遲）。他們的流媒體系統(tǒng)可以近乎實時地將神經(jīng)信號解碼為可聽見的語音。

“我們的流式傳輸方法為神經(jīng)假體帶來了與 Alexa 和 Siri 等設(shè)備相同的快速語音解碼能力，”加州大學伯克利分校聯(lián)合首席研究員兼助理教授 Gopala Anumanchipalli解釋道?！笆褂妙愃频乃惴ǎ覀儼l(fā)現(xiàn)我們可以解碼神經(jīng)數(shù)據(jù)，并首次實現(xiàn)近乎同步的語音流式傳輸。結(jié)果是更自然、更流暢的語音合成?！?/p>

這項技術(shù)對于改善 ALS 或中風引起的癱瘓等疾病患者的生活有著巨大的希望。“令人興奮的是，最新的人工智能進展大大加速了 BCI 在不久的將來在現(xiàn)實世界中的實際應(yīng)用，”加州大學舊金山分校神經(jīng)外科醫(yī)生、這項研究的高級聯(lián)合首席研究員 Edward Chang 說。

該系統(tǒng)的工作原理是從運動皮層（大腦中負責控制語音產(chǎn)生的部分）采集神經(jīng)數(shù)據(jù)，然后使用人工智能將這種活動解碼為口語。研究人員在 Ann 身上測試了他們的方法，Ann 是一名 47 歲的女性，自 18 年前中風以來一直無法說話。Ann 參加了一項臨床試驗，在她試圖默默說出屏幕上顯示的句子時，植入她大腦表面的電極記錄了神經(jīng)活動。然后，使用以她受傷前的聲音訓練的人工智能模型將這些信號解碼為可聽見的語音。

“我們本質(zhì)上是在攔截將思想轉(zhuǎn)化為表達的信號，”加州大學伯克利分校博士生、這項研究的共同主要作者 Cheol Jun Cho 解釋道?！八晕覀兘獯a的是思想發(fā)生之后——在我們決定說什么以及如何移動我們的聲道肌肉之后?！边@種方法使研究人員能夠?qū)?Ann 的神經(jīng)活動映射到目標句子上，而無需她發(fā)聲。

其中一個關(guān)鍵突破是實現(xiàn)近乎實時的語音合成。以前的 BCI 系統(tǒng)存在顯著延遲——解碼一個句子需要長達八秒鐘——但這種新方法大大減少了延遲。“我們可以看到，相對于那個意圖信號，在一秒鐘內(nèi)，我們就能得到第一個聲音，”Anumanchipalli 指出。

該系統(tǒng)還展示了連續(xù)解碼功能，讓安可以不受干擾地“說話”。

盡管速度很快，但該系統(tǒng)在解碼語音方面仍保持了較高的準確率。為了測試其適應(yīng)性，研究人員評估了它是否可以合成訓練數(shù)據(jù)集之外的單詞。

他們使用北約語音字母表中的稀有單詞，如“Alpha”和“Bravo”，證實了他們的模型可以推廣到熟悉詞匯之外?！拔覀儼l(fā)現(xiàn)我們的模型在這方面做得很好，這表明它確實在學習聲音或語音的構(gòu)成要素，”Anumanchipalli 說。

Ann 本人也注意到，這種新的流媒體方法與之前研究中使用的早期文本轉(zhuǎn)語音方法之間存在巨大差異。據(jù) Anumanchipalli 稱，她認為近乎實時地聽到自己的聲音增強了她的身臨其境感，這是讓 BCI 感覺更自然的關(guān)鍵一步。

研究人員還探索了他們的系統(tǒng)如何與不同的腦傳感技術(shù)配合使用，包括穿透腦組織的微電極陣列 (MEA) 和檢測面部肌肉活動的非侵入性表面肌電圖 (sEMG) 傳感器。這種多功能性表明，該系統(tǒng)在各種 BCI 平臺上具有更廣泛的潛在應(yīng)用。

該團隊目前正致力于進一步增強和優(yōu)化他們的技術(shù)。正在進行的研究領(lǐng)域之一是通過將聲調(diào)、音調(diào)和響度等副語言特征融入合成語音來增強表達能力。“即使在傳統(tǒng)音頻合成領(lǐng)域，這也是一個長期存在的問題，”另一位共同主要作者、加州大學伯克利分校博士生 Kaylo Littlejohn 說?！八鼘浹a與完全自然主義的差距?！?/p>

盡管仍處于實驗階段，但這一突破帶來了希望，即通過持續(xù)的投入和開發(fā)，能夠恢復流利語音的 BCI 可能在未來十年內(nèi)得到廣泛應(yīng)用。

該項目獲得了日本國立耳聾和其他交流障礙研究所（NIDCD）、日本科學技術(shù)振興機構(gòu)的“登月計劃”以及多家私人基金會等組織的資助。

Cho 表示：“這個概念驗證框架是一個重大突破。我們樂觀地認為，現(xiàn)在我們可以在各個層面取得進展?！?/p>