[发明专利]一种基于多模态融合的手部追踪方法

说明书

本发明涉及一种基于多模态融合的手部追踪方法，属于人机交互领域。本发明的目的是为了解决单一模态手势追踪过程中，用户指令边界无法确定的缺点，提供实时度高、准确度高的手部追踪轨迹。本发明的技术方案是：在行为发生之前，通过检测脑部数据的事件相关去同步(ERD)现象对用户手势进行预测，确定用户指令。在行为发生后，构建基于IMU的卡尔曼滤波子系统，使用IMU数据对手势进行追踪；构建基于EEG的卡尔曼滤波子系统，使用EEG数据对手势进行追踪；通过构建联合卡尔曼滤波系统对两个子系统轨迹进行融合，得到融合后手势追踪轨迹，以此来保证追踪出手势轨迹的稳定性、准确性以及实时性。

技术领域

本发明涉及人机交互领域，尤其是一种用于可区分用户指令边界的多模态融合手部追踪方法。

背景技术

手势交互作为自然交互的重要分支，能够给用户提供自然的交互体验，在移动设备和可穿戴设备中发挥着重要作用。然而基于单一模态的手势追踪系统存在用户指令边界难以确定的问题，即无法确定该手势是用户指令还是用户无意间的摆手。二者从行为的角度上难以区分，因此在交互过程中会产生误操作，导致交互效率下降。另一方面，无效的手部动作，会在交互过程中增加系统追踪成本，导致系统无法立即提供手势交互的反馈，严重影响用户的交互体验。

随着神经科学的发展，脑机接口成为当下火热的交互方式，它为手部追踪提供另一个方向的思考。BCI能够在用户脑部与外部设备之间建立联系，使得通讯不再依赖于脑部神经与肌肉连接的通路，能够通过脑电信号来推断用户的想法。用户在手势交互过程中，下达手势动作的信号实质上起始于大脑皮层，通过神经元放电产生对肌肉的控制信号，然后肌肉开始运动。如果能够在行为发生之前，捕获到脑电信号的特殊变化，就可以提前做出响应，缩短交互时间。另外，特殊的指令手势是由用户主动发起，大脑会有相应肌肉控制的神经元被激活，而无心的甩手则不会，因此能够从脑电信号中对二者进行区分。

然而脑电信号在手部追踪过程中同样存在自身的不足，当用户想象手部运动而没有发生实际运动时，同样可以在大脑运动皮层部位检测到运动相关信号，因此单一模态的脑电信号无法确定用户是否发生实际的运动。

基于此发明从多模态融合的角度出发，将IMU信号与EEG信号进行融合，使用基于EEG信号的手势预测方法对用户手势进行预测，使用多模态手势追踪方法对用户手势进行更高效的追踪。

发明内容

要解决的技术问题

为了解决单一模态手势追踪过程中，用户指令边界无法确定的缺点，本发明提出一种基于多模态融合的手部追踪方法，以确定用户指令边界，缩短交互时延以提高交互效率。

技术方案

一种基于多模态融合的手部追踪方法，其特征在于步骤如下：

步骤1：在行为发生之前，通过脑电设备获取脑电数据，通过脑电数据检测事件相关去同步信号，使用事件相关去同步信号提前对用户指令进行判定，若为用户交互指定则进行追踪，否则进入循环监听，等待用户指令；

步骤2：在判定用户指令发生后，通过数据手套获取手部IMU数据：陀螺仪数据和加速度数据；使用陀螺仪数据计算方向角，加速度数据根据方向角进行投影坐标系转换，坐标系转换后的加速度减去重力加速度，得到线性加速度，通过线性加速度进行两次积分，得到手部位置信息，构建卡尔曼滤波子系统，对手部位置信息进行修正，获取修正后的手部位置；

步骤3：在行为发生后，根据脑电设备获取脑电数据，通过脑电数据构建带功率时序模型，根据带功率时序模型提取手部运动的EEG特征向量，将EEG特征向量作为观测值建立卡尔曼滤波子系统，对手部位置进行追踪，获取修正后的手部位置；

步骤4：通过联合卡尔曼滤波器对步骤2得到的基于IMU的手部轨迹和步骤3得到的基于EEG的手部轨迹进行数据融合，得到融合后的手势追踪轨迹；

步骤5：将融合后手势追踪轨迹进行输出。