深圳市南山区西丽大学城学苑大道1068号, 中国科学院深圳先进技术研究院, 集成所神经工程研究中心
0755-86392299
0755-86392235
0755-86387965
(原文链接https://mp.weixin.qq.com/s/UKV4luTksrop6ZVZl6Vltw)
“意念”打字——脑机接口新突破
近日,斯坦福大学的研究人员开发的一项新的脑机接口技术,荣登《Nature》封面,引起了广泛关注。该研究使一名瘫痪患者实现每分钟90个字符的速度输入内容(超过目前所有研究中已报导的速度),且在线原始准确率为94.1%,离线自动校正模式下准确率高达99%,性能比之前的iBCI提高了两倍。
该研究所开发的脑机接口是一种新型皮质内脑机接口系统,它可以从大脑运动皮层的神经活动中解码出“大脑意图—手写动作”;并使用循环神经网络实时解码,将患者的“意图”实时转化为电脑屏幕上的文本。
“手写”笔迹的神经表征
猴子脑控玩游戏——Neuralink
目前,马斯克的脑机接口公司已成功在猪和猴的大脑中成功植入了脑机接口。该公司开发的首款脑机接口——the Link V0.9 可支持1024个通道,无线充电,且直径仅为23mm、厚度仅为8mm。
近日,该公司发布的视频中,一只名为Pager的猴子仅靠大脑而不用手柄即可控制光标在屏幕上移动,可直接用“意念”玩游戏。
猴子利用手柄玩游戏
这些“酷炫”的成果,体现了脑机接口在未来人类脑部疾病治疗中的重大意义。以下内容将带您走进脑机接口,更深入的了解植入式脑机接口的研究前沿与应用现状。
脑机接口(Brain-Computer Interface, BCI)不依赖于常规的脊髓/外周神经肌肉系统,它应用信息科学的研究方法,通过探究大脑多层次神经信息的加工、处理和传输过程,在脑与外部设备之间建立一种新型的信息交流与控制通道,从而实现脑与外界的直接交互(图1)。简而言之,就是在大脑和外部设备之间建立一座“信息通讯的桥梁”。
自本世纪以来,Nature 、Science、Lancet、Cell等国际顶尖学术期刊报道了一系列脑机接口的重大研究成果,相关研究促进了人们对神经系统的认识,极大地推动了神经、信息与认知等学科的发展。
脑机接口(Brain-Computer Interface, BCI)实现脑与机器之间的直接信息交互
脑机接口的研究具有重大的科学意义。它不仅有利于推动新型信息感知、复杂数据处理、模式识别、认知计算和人机交互等技术的发展,而且在挖掘人类认知潜能、残障人康复、神经疾病治疗,以及航天、国家安全等问题上都具有重要的社会意义和广泛的应用前景。
脑机接口分类
按照获取神经信号的信息来源和方式,脑机接口可以分为非植入式和植入式两大类。
非植入式脑机接口
主要利用放置于头皮外的EEG电极来获取神经信息,神经信息来源于透过头皮的大脑放电的宏观电活动。非植入式脑机接口具有无创伤、无手术风险和易于开展研究等特点,但同时也存在稳定性较差、个体差异大,易受到环境干扰的问题。
植入式脑机接口
不同于EEG电极,植入式脑机接口将电极埋置到了大脑的内部,能够获取大脑皮层和深部神经集群信号,这些信号信息量大、时空分辨率高,能够更好的解析出所包含的信息,从而实现对外部设备多自由度的实时、精确控制。
随着电子信息科学在微电极制造、并行数据采集系统和神经信息处理等方面的发展,植入式脑机接口近年来已成为国际上脑机接口研究的热潮。
植入式脑机接口的前沿应用
植入式脑机接口的研究可以追溯到上世纪90年代末。
199年,Chapin等人用人工神经网络算法将大鼠运动皮层神经集群电信号转换为水泵控制指令,首次实现了大脑对外部设备的直接控制。以美国为首的一些大学和研究机构在美国国家科学基金(NSF)、国立卫生研究院(NIH)和国防先进研究计划署(DARPA)的支持下,率先开展了非人灵长类动物(猴)的植入式脑机接口研究,推动了该技术的快速发展并取得重大突破。近十五年来,植入式脑机接口逐步开始了在人类志愿者身上的测试和研究工作。
2006年,美国Cyberkinetics公司开发的BrainGateTM获得了FDA的认证,并先后成功地在6名高位瘫痪的病人身上进行了临床实验。该系统可将从患者运动皮层神经元获得的电信号通过实时信号处理分析,转换成控制外部设备的指令,患者几乎无需训练就可以用意念移动屏幕上的光标或简单地控制假肢。
2012年,《柳叶刀》刊登了匹兹堡大学的研究成果,一位高位截瘫的女性志愿者仅凭借她大脑的“意念”控制床边的机械手臂成功将一块巧克力送到她自己的嘴里。
2014年,匹兹堡大学的研究团队进一步实现了对外部机械手臂包括肩、肘、腕和手指动作在内的10维度自由控制,是目前为止最为复杂的植入式脑机接口控制机械手臂展示。通过一段时间的训练,患者能够通过脑电,控制外部机械臂的空间三维运动,手腕三维旋转运动,以及手指的4个维度的自由运动。患者可以借由该技术完成自由抓握摆放在桌子上的物体并移动到指定位置。
同年,布朗大学的Donoghue研究团队也通过植入式脑机接口技术,实现了实时采集瘫痪病人大脑的信息,并控制三维空间的机械手臂完成自主喝咖啡的任务。
2019年,浙江大学脑机接口研究团队开展了国内首例植入式脑机接口的临床转化工作。研究团队在一位72岁的全身瘫痪志愿者大脑运动皮层内植入两个96通道微电极阵列,通过实时的脑机融合计算实现全身瘫痪志愿者通过“意念”自主控制机械手臂完成“进食”、“饮水”和“握手”等动作。
浙江大学脑机接口研究团队开展国内首例基于植入式脑机接口的临床转化研究,实现全身瘫痪志愿者利用
自主意念控制外部机械手臂完成“喝水”、“进食”、“握手”等动作
近年来,植入式脑机接口取得了更为广泛的基础和应用研究,研究方向逐步由单一的肢体运动控制扩展到更为广阔的感觉反馈、语言解码等前沿应用上。
上肢运动控制和机械臂替代
人类的肢体具有较多的活动自由度,因此在植入式脑机接口的运动控制过程中,追求对外部机械手臂更为灵活和精确的控制一直是研究人员主要的目标之一。
2017年,克利夫兰医学中心通过结合植入式脑机接口和上肢肌肉的功能电刺激技术成功使得一位高位截瘫志愿者利用自主的意识控制自身瘫痪手臂完成对水杯、勺子的抓握动作。研究人员在这位志愿者的大脑中植入了一个4×4mm、拥有100个微电极的犹他电极阵列来实时采集大脑的神经信号,然后经过计算机的分析,解读出与“意念”相关的神经信号编码特征。
2020年5月,来自美国巴特尔纪念研究所和俄亥俄州立大学的研究团队在Cell杂志上发表了最新的研究成果,该团队利用植入式脑机接口技术结合上肢皮肤表面的多通道阵列功能电刺激技术同时实现了对志愿者运动意念的解码和自身瘫痪上肢的抓握动作控制(图4)。在此基础上,研究团队进一步实现了对抓握部位和力量的反馈解码,使得瘫痪志愿者可以有效的控制自身抓握的力量。
这一研究成果不仅表明植入式脑机接口可以实现脊髓损伤患者的感触觉反馈和解析,而且证明闭环的反馈解码结合感知觉提示可以有效的提升运动控制的效果,为提升植入式脑机接口系统的有效性和实用性打下了基础。
基于植入式脑机接口与手臂肌肉的多通道功能电刺激技术,脊髓损伤的瘫痪志愿者实现对自身手臂的运动控制和感知觉反馈解析,
有效提升了脑机接口系统的控制有效性 (Battelle Memorial Institute,The Ohio State University, Cell)
脊髓损伤及下肢行走康复
2016年,瑞士洛桑联邦理工(EPFL)的神经科学家 Grégoire Courtine带领的团队利用植入式脑机接口控制脊髓内皮层电刺激构建的闭环神经调控技术,奇迹般地让两只脊髓损伤的猴子恢复了自主行走。在该项研究中,猴子的脑部被植入了记录电极用于解码下肢运动意图,同时在猴子损伤脊髓的下端安装了无线信号接收器和脊髓刺激电极用于接受解码得到的下肢运动意念驱动的刺激电流。研究小组发现,经过受控的脊髓电刺激后,下肢瘫痪的猴子可以逐步恢复正常的行走。
该研究小组随后进一步将该项技术用于3位脊髓损伤长达4年的病人身上,帮助瘫痪病人恢复独立行走的能力。通过精确分析行走过程中脊髓相应区域的激活情况,针对性的施加硬膜外电刺激,并结合康复训练,实现了脊髓损伤治疗领域的新突破。同时,借助穿戴式设备和手机app,病人可自主控制训练时间和刺激形式。更重要的是,他们发现这种精确的特异性电刺激可以增强大脑和脊髓神经元之间的联系,并且经过5个月的训练,患者即使在没有电刺激的情况下也能在一定程度上恢复对瘫痪肌肉的控制能力。
2018年,Edgerton和同事在Nature Medicine上发表文章称成功帮助一位29岁车祸导致第六胸椎以下完全性瘫痪的男子实现了行走。他们将刺激电极植入脊髓损伤区域下方的特定位置,通过长达一年多的康复训练,并同时结合电刺激治疗,患者实现了在跑步机上的独自站立或行走。
同年,Harkema等人在NEJM上发表的文章同样应用硬膜外电刺激和康复训练,帮助4位完全运动性脊髓损伤患者中的两位实现了地面行走。
2019年10月,来自法国格勒诺布尔大学的研究团队在Lanet杂志上发表了最新的研究成果。该团队利用植入于瘫痪志愿者大脑硬膜上的ECoG电极和无线神经信号采集系统,结合可穿戴的全身外骨骼系统,使瘫痪志愿者利用运动感觉皮层的场电位信号实现了控制外骨骼帮助下的模拟行走,以及八自由度的上肢伸抓任务和手腕转动(图5)。
与植入到大脑皮层内部的微阵列电极相比,植入于硬膜外的ECoG电极对大脑的侵入程度较低,是半侵入性的,而其获取的神经信号在运动解码上具有相似的效率。因此这一方法有望减少植入式脑机接口的损伤性,并实现长期稳定的植入。
基于硬膜外ECoG神经信号解码的植入式脑机接口系统实现瘫痪志愿者控制外骨骼完成肢体运动控制
(Université Grenoble Alpes, Lancet)
语言的解析与重构
除了对于肢体的运动控制以外,植入式脑机接口应用于对志愿者语言的解码也是近年来植入式脑机接口研究工作的一大亮点。
以Edward Chan教授带领的加州大学旧金山分校神经外科研究团队,通过在志愿者语音处理相关的脑区植入数百个微电极来记录志愿者在阅读过程中大脑内的神经电活动,并结合深度学习方法把志愿者颅内的脑电信号翻译成了语音,倾听者能以接近70%的复述率成功识别合成语音的内容,而且达到每分钟150个单词(图6)。
该研究的核心技术在于训练了一个可以将大脑内神经电活动转译成文字的深度循环神经网络模型。通过建立两层双向的循环神经网络模型,将志愿者说话时的脑皮质电图信号经由发音器官运动特征的中间解码层,间接解码为人类可直接理解的语音。
2019年7月,Edward Chan的团队再次展示了利用高密度的ECoG阵列电极获取的脑皮层神经信号也可以同样用于对语言的解码。研究小组利用在志愿者对话过程中记录得到的神经信号,能够准确的确定志愿者何时在听,何时在说,并且能够预测所听或所说的内容。研究者根据解码后的问题来动态更新答案的先验概率,实现了更为准确的语言内容解码。这一成果证明植入式脑机接口技术可用于在交互式对话环境中的语音内容解码。
2020年3月,该团队进一步实现了一个可以将ECoG信号端到端“翻译”为连续文字的深度循环神经网络模型。该模型可以有效解码当前朗读的语句内容,且翻译错误率大大下降。相关的研究成果发表于Nature Communication和Nature Neuroscience上,开启了植入式脑机接口用于语言功能的全新研究方向。
基于植入式脑机接口的语言解码 (Anumanchipalli GK, et al. Nature)
总结与展望
近几十年来,脑机接口技术的发展得到了长足的进步。然而无论是非植入式脑机接口还是植入式脑机接口都还停留在实验室阶段。
非植入式的脑机接口目前已经可以逐步应用到偏瘫病人康复,精神类疾病的神经反馈治疗过程中,但由于受限于其信号包含的信息量少,设备的操作复杂,佩戴的舒适性以及长时间记录的可靠性还有待提高等问题,仍需要在便携化、可穿戴化等技术方向上得到进一步的发展。
植入式脑机接口虽然具有信号更为丰富精确的优点,但有创的植入方式决定了其在短期内无法获得大范围的推广。在植入电极的生物相容性,神经信号采集芯片的小型化、无线化,以及整体系统的产业化推广方面也具有极大的挑战。
除了上述各项技术上的局限外,脑机接口获得更多更为有效应用的关键挑战在于我们对大脑工作机制的了解还十分有限。对大脑工作机制的探索发现是脑机接口系统实现的核心基础,而神经工程领域基于这些探索发现所提出的大脑计算神经模型、神经编码与解码方法,则为脑机接口实践应用提供了关键技术方法。
尽管困难重重,但随着近年来世界各国纷纷启动“脑计划”,相信基于脑机接口技术的各类治疗技术和产业化应用将在未来迎来百花盛开的新时代。