智能交互中的肌电模式识别研究进展

（原文链接https://mp.weixin.qq.com/s/QkOxEseGpQX-KhMvap9SzA）

1.肌电生理学基础

       人体的所有运动与姿态都由神经系统控制完成，神经肌肉控制系统主要通过大脑皮层的运动区、脑干和脊髓等神经结构来互相传递肌肉的运动指令。大脑产生的抽象运动意识通过神经信号传递到相应的肌肉，通过控制具体的肌肉收缩完成人体运动。肌电（electromyography，EMG）信号是伴随肌肉收缩产生的电生理信号。如图1所示，通过信号采集方式的不同，EMG可分为插入式肌电（intramuscular EMG，iEMG）与表面肌电（surface EMG，sEMG）。表面肌电通过依附在皮肤表面的电极采集而得，其具有无创性与便捷性的优势，且可直接反映浅层肌肉激活情况。因包含有丰富的运动控制信息，表面肌电不仅被广泛应用于疾病诊断、康复工程等领域，且被作为控制源应用于假肢控制和智能人机交互等领域。

图1（a）插入式肌电采集，iEMG；（b）表面肌电采集，sEMG

2.肌电模式识别

       肌电控制是通过捕获相应肌群的运动相关表面肌电信号，从中解析运动意图并用于形成相应控制指令的技术。肌电控制提供了一种可靠的人机交互接口，其控制策略研究有着悠久的历史。自上个世纪60年代以来，肌电控制经历了几次潮流迭代，从简单的开关控制演变为更加鲁棒的比例控制、再到可控制多自由度的肌电模式识别策略。近年来，随着芯片技术的发展，相对复杂的信号处理及人工智能方法可嵌入到微处理器中，愈加强大的计算性能为肌电模式识别的迅猛发展提供了条件。

       在假设同一类动作的肌电信号内在规律相同，而不同动作肌电信号内在规律不同的前提下，肌电模式识别通过特征学习寻找多通道sEMG信号的内在规律，从而实现对不同运动意图的准确识别，其基本流程如图2所示。

图2 肌电模式识别方法基本流程图

（1）数据分割

       一般而言，肌电模式识别的步是将sEMG信号数据分割为多个小段的信号窗。如图3所示，R1、R2、R3为3个连续信号窗，为数据分割步长。受实时性需求限制，信号窗长加数据处理时长不应超过300ms。根据分割步长的不同，数据分割可分为相邻窗（adjacent windowing）与重叠窗（overlapped windowing）方式。相邻窗分割方式的步长等于窗长，而重叠窗的步长小于窗长。Englehart和Hudgins报道，越小的步长使得肌电模式识别系统的输出越密集，且识别性能指标会提升。因此，基于重叠窗的数据分割技术广泛应用于当下肌电模式识别方法的研究。经数据分割得到的每个信号窗为一个样本，肌电模式识别就是学习与判断每一个样本属于的类别。

图3 sEMG 数据分割示意图

（2）特征提取

       特征提取是对高维肌电信号的低维描述，特征描述的好坏将直接影响到模式识别性能。一般而言，根据提取特征的角度不同，肌电特征可分为时域、频域以及时频域特征。时域（time domain，TD）特征计算简单，消耗计算资源少，目前应用最为广泛的是Hudgins等在1993年提出的平均绝对值（mean absolute value， MAV）、过零率（zero crossing，ZC）、波长（wave length， WL）及斜率变化数（slope sign changes，SSC）四个特征的组合。常用的频域（frequency domain）特征有平均功率（mean power frequency，MPF）和中值频率（median frequency，MDF）。频域特征的常规提取技术是离散傅里叶变换（discrete fourier transform，DFT）方法，通过快速傅里叶变换（fast Fourier transform，FFT）加快信号处理速度，满足实时性要求。时频域（time-frequency domain）特征可同时表征时域信息与频域信息，常用的方法有短时傅里叶变换（short time Fourier transform，STFT）与小波变换方法。

       除了上述三类特征，有些工作结合肌电控制中具体的电极或信号特点，针对特定的问题设计了一些特征，如Khushaba等提出的可提取多通道电极空间信息的时空描述特征（temporal-spatial descriptors，TSD），Al-Timemy等提出的鲁棒于力度变化的时间相关功率谱描述符（time-dependent power spectrum descriptors, TD-PSD）等。

（3）分类器

       分类器挖掘样本特征的内在规律，通过制定规则对不同动作样本进行分类识别。线性判别分析（linear discriminant classifier，LDA），高斯混合模型（gaussian mixture model，GMM），隐马尔可夫模型（hidden Markov model，HMM），人工神经网络（artificial neural network，ANN），支持向量机（support vector machine，SVM）等大量分类器被应用于肌电模式识别中。目前，前文所提的4个常用的时域特征与计算复杂度低、分类效果良好的LDA分类器的组合（TD-LDA），被许多研究视作基准方法。

       肌电模式识别的性能十分依赖特征提取的准确性。然而，特征的好坏是相对的，每一类特征有其适合的应用情境，如频域特征在力度变化时往往比时域特征更能够稳定表征动作模式，而时域特征往往比频域特征有着更强的时间分辨率。至今，大量的研究产出了海量的特征，借助深度学习（deep learning）这一以人工神经网络为架构的表征学习（representation learning）方法，自动提取任务相关肌电信号特征并进行分类是当前研究的热点。

       深度学习借助级联式的网络结构，层次化地学习抽象特征。经典的网络架构有卷积神经网络（convolutional neural network， CNN），循环神经网络（recurrent neural networks，RNN），自编码器（autoencoder，AE）等。根据功能性设计的不同，CNN更加关注空间信息，在图像相关任务有着优越的表现；RNN可以关注序列的上下文信息，在处理机器翻译、手写识别等以序列化信息为输入的任务时表现优异；AE以无监督的方式学习到数据的隐含特征，广泛用于异常检测、去噪等任务。在肌电控制领域，深度学习方法可以弱化特征提取过程，且可以替换分类器步骤。

3.智能交互领域肌电模式识别研究现状

       智能交互中的肌电模式识别技术在学术界和工业界引起了广泛关注。在学术界代表性的工作有：中国科学技术大学陈香团队在2011年利用肌电及运动传感器识别了72种手语词并用18种手势实现了虚拟魔方的交互控制。深圳先研院李光林团队在2010年量化考核了截肢患者通过sEMG操作假肢的优点与不足。上海交通大学朱向阳团队近些年大力推进了肌电模式识别的临床使用。新不伦瑞克大学的Hudgins与Englehart在本世纪初做了大量肌电模式识别工作，他们的学生Scheme目前也在继续推动着肌电模式识别的发展。在工业界，2012年Thalmic Labs推出的可穿戴Myo手环，配备8通道肌电传感器和1个IMU传感器，可以识别手臂运动轨迹和手势，在人机交互领域得到了广泛应用；2021年3月，Facebook 报道了基于肌电的人机交互与虚拟现实/增强现实技术结合的多种应用；香港理工大学团队与复康机器人技术有限公司研发的“希望之手”产品利用肌电手势识别技术加速中风患者的康复进程；假肢制造业巨头Ottobock公司将肌电手势识别技术深度应用于假肢控制中，发布了一系列易用的假肢产品，造福一大批截肢患者。

       尽管学术界和工业界的进展均展现了肌电模式识别技术在假肢控制、康复工程、人机交互等智能交互领域具有广阔的应用前景，当前的肌电模式识别系统距离实际使用还有一定的鸿沟，未能被用户广泛接受和使用。其主要原因在于从理想手势动作中提取的肌电特征在实际使用过程中经常无法保持一致性，容易受到电极偏移、无关动作、肌肉疲劳、手臂位置变化、多用户差异等因素的干扰。因此，如何使肌电模式识别系统克服这些因素的干扰，是近年来广大研究者致力于技术攻关的方向。

4.高鲁棒肌电模式识别方法研究进展

（1）电极偏移问题

图4自适应电极配准肌电模式识别方法流程图

图5 基于自适应电极校准方法的手势识别框架

       在肌电模式识别系统的使用中，重新穿戴电极、磕碰设备、甚至是肌肉收缩等均可能带来电极位置的改变，因此电极偏移是不可避免的。而在目前的肌电模式识别方法中，基于偏移前的数据所训练的分类器难以适用于新的电极位置。一种直观的方法是采集多个位置的数据，以增强训练集样本的多样性，进而提升系统对电极偏移的适应性。此方法的缺点是会给用户带来很高的训练负担，也是目前肌电模式识别系统用户接受度低的主要原因之一。另一类缓解电极偏移影响的思路是设计鲁棒特征或鲁棒分类器，这类方法的问题是很少关注电极本身的偏移信息，如电极偏移的方向、距离信息等。

       中国科学技术大学研究团队近几年在电极偏移的自适应校准方面开展了深入研究。2019年提出了一种基于目标检测的鲁棒肌电模式识别方法框架，算法流程如图4所示。该框架采用目标检测的思路，从电极偏移前后采集的肌电特征图中寻找核心记录区域，以此区域包含的肌肉激活信息进行模式识别，以减少电极偏移对肌电模式识别的影响。2020年提出了一种基于肌肉核心激活区域的自适应电极校准方法[17]，如图5所示，该方法利用快速独立成分分析将手势高密度表面肌电信号分解为源信号矩阵和混合系数矩阵，选择源信号能量最大的混合系数向量作为主模式，通过滑动窗口遍历主模式提取肌肉核心激活区域，并利用无监督手段对齐核心激活区域实现电极的自适应校准。以上两种校准算法均可一定程度克服电极偏移对肌电模式识别准确率的影响，且具有降低肌电控制系统用户训练负担的潜力。

（2）无关手势动作的拒判

       肌电模式识别往往利用机器学习方法分类有限数目手势，即目标手势，但在实际使用时，用户时常会无意间做出非目标手势，即无关手势。当用户执行无关手势时，分类器也会将其归为目标手势中的一类，从而降低肌电控制的准确性，在一些实际控制中甚至会造成安全事故。因此，无关手势拒判问题引起了研究者们的关注。针对无关手势拒判，当前研究工作中的解决方案大体可分为三类：类是基于域的方法，旨在寻找一个决策边界包裹住已有的目标手势样本，在测试时落入边界之外的样本被认为是无关手势样本；第二类是基于概率的方法，利用分类器对目标样本预测概率值较大、无关样本预测概率值较小的特性进行辨别；第三类是近年越来越受关注的基于重构的方法，利用自编码器（autoencoder，AE）学习目标手势样本的压缩特征，由于无关手势样本的压缩特征不同且会造成较大的重构误差，以该重构误差作为指标拒判无关手势样本。

       中国科学技术大学研究团队近期提出一种基于度量学习的无关手势拒判方法，利用CNN挖掘高密度表面肌电信号中的判别性特征。具体算法流程如图6所示，分为肌电特征图构造模块、基于CNN的判别性特征提取模块、基于AE的无关手势拒判模块三部分。该方法所提特征具有较小的类内间距及较大的类间间距，目标手势分类和无关手势拒判性能均显著优于传统肌电模式识别方法。

（3）个体差异问题

       个体差异的影响不仅存在于肌电模式识别领域，同样是自动语音识别中的经典问题。在肌电模式识别领域，个体差异主要体现于基于有限数量的用户样本训练出来的识别系统应用于其他用户时表现不佳，其产生原因在于不同用户的生理结构和身体条件不同，做同类手势也会存在较大的差异性。个体差异的存在使得每次有新用户使用系统时，都要利用用户数据对分类器进行重新训练，沉重的训练数据采集负担导致肌电模式识别系统的用户接受性差。

       为了减少或消除个体差异的影响，研究人员提出了许多先进、高效的解决方案或框架，包括：基于多模态数据融合的数据增强、提取用户之间鲁棒或不变特征、更新预先训练的识别分类器等方法。针对个体差异问题，中国科学技术大学研究团队提出了一种基于典型相关分析（CCA）和最优传输(OT)的框架，称为CCA-OT。通过最优传输，在基于CCA模型的基础上，进一步减小训练集和测试集转换后的特征矩阵之间的数据分布差异，从而改善手势识别性能。

（4）其他干扰问题

       在智能交互应用中，肌电模式识别性能同时受到肌肉疲劳、手臂位置变化等其他因素的影响。M. R. Al-Mulla和 F. Sepulveda[26]采用机器学习方法分类不同的肌肉状态，包括非疲劳状态、疲劳过渡状态和疲劳状态，这种分类模型可应用于不同疲劳状态下的肌电模式识别。Anders Fougner和Erik Scheme等通过训练多个不同手臂姿态下的分类器，使用特定位置的分类器进行手势识别，并用加速度计辅助检测手臂位置，将由于手臂位置变化引起的分类错误率由18%降至5%左右。

5.总结

       尽管肌电模式识别技术近年来取得了长足的进步，其鲁棒性仍有着很大的提升空间。当前研究工作大多针对电极偏移、无关手势拒判、多用户使用以及手臂位置变化等问题中的一个提出解决方案，如何设计可同时解决上述多个问题的肌电模式识别系统是未来值得研究的方向。总结而言，当前研究进展使肌电模式识别技术在智能交互中的应用前景愈发明朗。随着深度学习技术的不断进步，鲁棒肌电模式识别系统的产生指日可待，实际肌电控制使用中面临的诸多问题必也将逐渐得到解决。