[发明专利]一种能够实现人机交互的手部运动识别方法及系统有效
申请号: | 202010994901.2 | 申请日: | 2020-09-21 |
公开(公告)号: | CN112308110B | 公开(公告)日: | 2023-07-21 |
发明(设计)人: | 赵毅;王一峰;汪洋 | 申请(专利权)人: | 哈尔滨工业大学(深圳) |
主分类号: | G06F18/214 | 分类号: | G06F18/214;G06N3/0442;A61B5/11 |
代理公司: | 北京高沃律师事务所 11569 | 代理人: | 崔玥 |
地址: | 518055*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 能够 实现 人机交互 运动 识别 方法 系统 | ||
1.一种能够实现人机交互的手部运动识别方法,其特征在于,包括:
建立轨迹几何模型,所述轨迹几何模型包括L型轨迹、V型轨迹、O型轨迹和S型轨迹;
利用光学传感器和惯性运动传感器采集手部运动数据;
根据所述手部运动数据建立轨迹识别数据集;
根据惯性运动传感器采集的手部运动数据对手部运动轨迹进行初步轨迹还原,得到初步还原轨迹,具体包括:
利用t时刻的加速度计数据和姿态四元数矩阵Mt,计算出t时刻地坐标系下的速度Vtearth,之后计算出t时刻位移St,最后将每个时刻的位移点连接在一起,得到物体运动轨迹,具体步骤如下:
其中,表示t-1时刻地坐标系下的速度;表示t-1时刻物体坐标系下的速度;Mt表示t时刻的姿态四元数矩阵;表示t时刻物体坐标系下的加速度计数据;表示t时刻地坐标系下的加速度计数据;Vtearth表示t时刻地坐标系下的速度;Vtobject表示t时刻物体坐标系下的速度;St表示t时刻的位移;St-1表示t-1时刻的位移;MT表示对t时刻的姿态四元数矩阵进行转置;G表示重力加速度;Δt表示传感器测量的周期;
根据所述初步还原轨迹和惯性传感器数据,确定初步还原轨迹结果;
根据轨迹识别数据集和对应的初步还原轨迹结果,对深度学习模型进行训练,得到训练后的深度学习模型;
获取待预测的惯性运动传感器采集的手部运动数据;
将所述待预测的惯性运动传感器采集的手部运动数据输入至所述训练后的深度学习模型,得到手部运动轨迹,所述手部运动轨迹包括轨迹形状和轨迹形状参数。
2.根据权利要求1所述的能够实现人机交互的手部运动识别方法,其特征在于,所述根据惯性运动传感器采集的手部运动数据对手部运动轨迹进行初步轨迹还原,得到初步还原轨迹,具体包括:
通过惯性运动传感器获取惯性运动数据,所述惯性运动数据包括加速度数据和角速度数据;
根据所述角速度数据,对手部的运动姿态进行实时解算,得到手部的运动姿态;
根据所述手部的运动姿态,确定手部坐标系;
对所述加速度数据进行重力去除,得到去除重力后的加速度数据;
将所述去除重力后的加速度数据在所述手部坐标系中进行二次积分,初步计算出手部的实时运动轨迹;
采用粒子滤波算法对所述手部的实时运动轨迹进行矫正,得到初步还原轨迹。
3.根据权利要求1所述的能够实现人机交互的手部运动识别方法,其特征在于,所述根据所述手部运动数据建立轨迹识别数据集,具体包括:
对所述光学传感器采集的数据采用三次样条插值的方式进行补充,得到完整的光学数据;
对所述惯性运动传感器采集的数据采用高斯滤波算法进行滤波,得到滤波后的惯性运动数据;
对所述完整的光学数据采用网格化搜索算法添加标签,得到添加标签后的光学数据;
根据所述滤波后的惯性运动数据和所述添加标签后的光学数据,建立轨迹识别数据集。
4.根据权利要求1所述的能够实现人机交互的手部运动识别方法,其特征在于,所述根据轨迹识别数据集和对应的初步还原轨迹结果,对深度学习模型进行训练,得到训练后的深度学习模型,具体包括:
将所述惯性运动传感器采集的手部运动数据和对应的初步还原轨迹结果作为输入,光学传感器采集的手部运动数据作为输出,对深度学习模型进行训练,得到训练后的深度学习模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学(深圳),未经哈尔滨工业大学(深圳)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010994901.2/1.html,转载请声明来源钻瓜专利网。