[发明专利]一种多模态自适应光标控制方法及系统

说明书

本发明公开了一种多模态自适应光标控制方法及系统，该方法包括：分别采集舌部运动磁传感器信号和脑电信号；将舌部运动磁传感器信号转换为第一光标控制信号x₁，将脑电信号转换为第二光标控制信号x₂；通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号利用融合后的光标控制信号控制显示器中的光标运动。该方法实现提升光标控制的准确性。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种多模态自适应光标控制方法及系统。

背景技术

目前，肌萎缩侧索硬化(amyotrophic lateral sclerosis，ALS)是一种累及上下运动神经元及其支配的躯干、四肢和头部肌肉的慢性进行性神经退化疾病。ALS一般临床表现为：患者在意识清醒的状态下，由下肢开始到上肢、躯干逐渐丧失运动能力，十分痛苦。ALS全球发病率为5-10人/10万，部分地区患病率更高。我国患者人数在7万以上,给家庭和社会带来沉重的负担。因此，研发有效的医疗辅助系统帮助ALS患者与外界沟通或实现运动控制有着重大的实用价值。

为帮助ALS患者与外界沟通，用一块小磁铁固定舌尖上，就可以通过布置在口腔周围的传感器检测到舌部运动时引起的磁场变化，上述小磁铁被简化为单点磁极子，通过求解磁极子模型获得舌部运动参数，如舌部运动的速度和轨迹，通过舌部运动的参数实现光标控制。另外也可以采用脑机接口(Brain-Computer Interface,BCI)，脑机接口是一种人工搭建的不依赖于大脑外周神经细胞与肌肉组织的独立信息传输通道，大脑可通过脑机接口直接与外部设备进行信息交互，目前大多数脑机接口基于脑电信号分类生成离散的控制信号，不便于光标的灵活控制。

在ALS发病前期，患者舌部运动正常，可以采用磁极子定位技术解码舌部运动参数，实现光标或机械臂控制，但是在ALS发病过程中，患者舌部运动能力逐渐丧失，磁极子定位方法对光标的控制精确度逐渐降低，直到ALS患者舌部运动丧失，失去对光标控制，光标控制的准确性较低。使用脑机接口技术实现光标控制虽然不受外围肌肉神经组织损伤的影响，但是它的局限在于：少数的脑机接口研究实现了基于脑电信号的上肢运动参数(包括轨迹和速度)的解码，但离实用还有一定距离。因为，这些研究的训练数据采集自健康人群，而对于ALS患者，肢体运动训练数据往往无法获得，并且现有脑机接口技术实现光标控制的准确性较低，在ALS患者运动系统没有彻底失效前，比如舌部和眼睛尚能运动时，仅依靠噪声多、不平稳的脑电信号来控制光标，并不是最好的选择。综上所述，基于磁定位技术的舌部运动跟踪技术和基于脑电信号的肢体运动参数解码技术各有利弊，但均不能兼顾不同阶段的ALS辅助控制需要，两者对光标控制的准确性均较低。

发明内容

本发明的目的是提供一种多模态自适应光标控制方法及系统，以实现提升光标控制的准确性。

为解决上述技术问题，本发明提供一种多模态自适应光标控制方法，该方法包括：

分别采集舌部运动磁传感器信号和脑电信号；

将舌部运动磁传感器信号转换为第一光标控制信号x₁，将脑电信号转换为第二光标控制信号x₂；

通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号

利用融合后的光标控制信号控制显示器中的光标运动。

优选的，所述融合后的光标控制信号的计算公式为：