脑机接口新突破：实时解码中文，复旦华山医院团队，让思维直接说话 | 光锥读论文

dsfgdsg

近日，一项发表于顶级期刊《科学进展》（Science Advances）的《使用脑机接口实时解码全频谱中文》的论文，由复旦大学华山医院、上海微系统与信息技术研究所、上海科技大学等十余家机构的联合团队完成，通讯作者为华山医院吴劲松主任医师和上海微系统所周志涛研究员，以及上海脑虎科技有限公司陶虎研究员。研究团队通过创新技术，首次实现了对中文全音节的高精度实时解码，为失语症患者带来了新的希望。


解码大脑的“语言密码”：
为何中文如此特殊？


脑机接口（BCI）技术旨在通过解读大脑信号帮助瘫痪或失语患者重新沟通。国际上应用脑机接口技术已实现英语、西班牙语等西方语言合成。汉语作为世界上使用人口最多的语言，在听说读写各方面具有特殊性。如何针对汉语言神经编解码机制的特异性实现汉语合成是当前汉语言脑机接口重大挑战。


中文作为典型的声调语言，每个音节的音高变化都会改变词义（如“妈”“麻”“马”“骂”），且汉字以单音节为主，同音字密集（如“家”“加”“佳”均读作“jiā”），这使得解码难度倍增。


研究团队另辟蹊径，放弃了传统的“音素解码”思路，转而将完整音节（如“wo3”对应汉字“我”）作为基本单元。这一选择源于中文的音节数量有限（约418个基础音节），且音节比音素更稳定、更具语义信息。

图说：通过颅内脑电记录大脑对语言（音节+声调）和非语言符号的神经活动，解析大脑不同脑区在“音节识别”“声调识别”等功能上的分工。




实验揭秘：
大脑信号如何“翻译”成句子？


研究团队在一名因癫痫治疗而植入电极的43岁女性参与者脑中，放置了256个微电极组成的高密度柔性脑皮层电图（ECoG）阵列。这些电极如一张“神经传感网”，覆盖了大脑中与语言处理相关的关键区域。实验包含两项任务：

• 单字朗读任务：参与者反复朗读屏幕显示的394个汉字，覆盖中文全部常用音节。对于生僻字，系统会同步播放读音辅助学习。
  
• 句子朗读任务：参与者逐字阅读完整句子，句长2-11字不等，每字间有刻意停顿以训练模型。
  

图说. 实时汉语解码脑机接口系统框架和电极贡献度表征


解码流程犹如一场精密的“神经翻译”：

• 信号捕捉：电极实时记录大脑活动，提取高频神经信号（70-170赫兹）。
  
• 语音起始检测：专用模型识别说话起始点，锁定关键神经信号段。
  
• 双流解码：信号并行输入两个神经网络——一个识别音节，一个识别声调。例如，音节“wo”与第三声组合后，对应汉字“我”。
  
• 语言模型优化：系统结合神经网络输出与语言模型（基于日常用语训练），通过智能搜索算法输出最可能的汉字序列。
  

71.2%的音节识别准确率
与实时句子解码


在离线测试中，系统对394个音节的识别准确率中位数达71.2%，声调识别准确率达69.1%，远超随机猜测（0.25%）。研究还发现，即使训练数据量减少，模型仍保持稳定表现，展现了其强健性。


更令人振奋的是，在实时句子解码任务中，仅依靠神经信号时字符准确率为61.5%，加入语言模型后提升至73.1%，通信速率达49.7字符/分钟。参与者成功通过解码系统控制机械臂、驱动数字人 avatar，并与大语言模型互动，准确率最高达78.3%。

应用场景


三类典型应用场景：

• 控制灵巧机械手（Control the dexterous hands）：实现机械臂等设备的精细操作；
  
• 驱动数字分身（Actuate the digital avatar）：依托系统激活虚拟数字人，完成虚实交互；
  
• 与大语言模型通信（Communicate with the LLM）：直接对接大语言模型，拓展智能交互的深度与广度。
  

未来展望：
从实验室走向病床的“沟通桥梁”


这项研究的核心价值在于为因肌萎缩侧索硬化（ALS）、脑中风等导致失语的患者提供了新的沟通可能。未来，通过优化电极设计（如无线植入）、融合多模态信号（如面部肌肉电信号），系统可更精准地捕捉“内心语音”，甚至解码抽象思维。尽管目前研究仅基于单名参与者，团队已计划开展多中心验证，并探索跨被试的通用解码模型。正如论文所言，这项技术不仅助力恢复语言功能，更可能成为连接人类意识与外部世界的桥梁，让沉默的思维重新发声。


编辑：吴欧

ress

这研究牛啊 256个电极像神经传感网覆盖语言区 71.2%音节识别准确率 比猜对的概率高太多 我都想去试试当志愿者了