[发明专利]一种基于多模态融合的手部追踪方法

权利要求书

1.一种基于多模态融合的手部追踪方法，其特征在于步骤如下：

步骤1：在行为发生之前，通过脑电设备获取脑电数据，通过脑电数据检测事件相关去同步信号，使用事件相关去同步信号提前对用户指令进行判定，若为用户交互指定则进行追踪，否则进入循环监听，等待用户指令；

步骤2：在判定用户指令发生后，通过数据手套获取手部IMU数据：陀螺仪数据和加速度数据；使用陀螺仪数据计算方向角，加速度数据根据方向角进行投影坐标系转换，坐标系转换后的加速度减去重力加速度，得到线性加速度，通过线性加速度进行两次积分，得到手部位置信息，构建卡尔曼滤波子系统，对手部位置信息进行修正，获取修正后的手部位置；

步骤3：在行为发生后，根据脑电设备获取脑电数据，通过脑电数据构建带功率时序模型，根据带功率时序模型提取手部运动的EEG特征向量，将EEG特征向量作为观测值建立卡尔曼滤波子系统，对手部位置进行追踪，获取修正后的手部位置；

获取脑电设备通道EEG数据，构建带功率时序模型，设置500ms宽的滑动窗口对EEG数据进行分割处理，设置8-12Hz、12-18Hz、18-28Hz和28-40Hz频率带，将窗口内的EEG数据进行带通滤波，将滤波后数据进行平方、求和然后求均值操作，获得窗口EEG数据的带功率将t时刻的带功率B_fn[t]与其标准差做商得到标准化后的数据S_nf[t]，将该值作为卡尔曼滤波子系统的观测值；获取脑电设备通道EEG数据，获取数据手套手部IMU数据，使用EEG数据和IMU数据构造训练集数据，构建卡尔曼滤波子系统状态向量其中r代表手部位置，v代表手部速度，a代表手部加速度，下标k表示时间；系统转移方程x_k+1＝A_kx_k+ω_k，观测方程z_k＝H_kx_k+q_k，使用训练集数据根据最小二乘准则训练参数矩阵A_k、H_k和系统噪声矩阵ω_k、观测噪声矩阵q_k，使用训练参数构造卡尔曼滤波子系统，使用卡尔曼滤波子系统对手部位置进行追踪并修正，得到修正后的手部位置信息；

步骤4：通过联合卡尔曼滤波器对步骤2得到的基于IMU的手部轨迹和步骤3得到的基于EEG的手部轨迹进行数据融合，得到融合后的手势追踪轨迹；

步骤5：将融合后手势追踪轨迹进行输出。

2.根据权利要求1所述的一种基于多模态融合的手部追踪方法，其特征在于步骤1中通过脑电数据检测事件相关去同步信号具体如下：获取脑电信号所有通道的EEG数据，设置8-12Hz频带，将原始信号在频带上进行滤波，对滤波后信号进行平方操作得到功率样本，对功率样本在所有实验上的数据进行求均值操作，最后将求均值的功率样本对时间求平均得到事件相关去同步信号。

3.根据权利要求1所述的一种基于多模态融合的手部追踪方法，其特征在于步骤2中投影坐标系转换具体为机体坐标系到导航坐标系的转换。