[发明专利]基于目标检测的快速动态手势识别系统及方法

权利要求书

1.一种基于目标检测的快速动态手势识别系统，其特征在于：包括体姿采集模块，特征提取模块和手势识别模块；体姿采集模块包括Kinect骨骼获取单元，利用Kinect摄像机采集身体骨骼姿态视频数据，并将数据送至特征提取模块和手势识别模块；特征提取模块用于训练人体的手势动作，包括数据预处理单元、目标检测单元和模型训练单元；手势识别模块用于快速识别出手势动作的类型，包括数据接收单元、动态手势建模单元和ASIA手势识别单元；

所述数据预处理单元用于对Kinect采集的动态手势进行分解，获得一系列静态图片，然后对图片中的手势进行归一化标记和对标记后的图片与相应文件压缩处理；对图片中的手势进行归一化标记是指每一类动态手势中的所有手臂姿态标记为同一种类别；

所述目标检测单元用于将CAMshift算法应用到多尺度特征图预测算法中，以适应动态手势形状的改变，并增强目标检测算法对视频数据中运动物体的跟踪能力；所述多尺度特征图预测算法是单个深层神经网络检测图像中目标的模型；

所述模型训练单元包括对目标检测模型的权值初始化，计算预测结果与真实标签之间的误差损失，根据误差进行权值跟新，直到损失结果达到最小；所述预测结果与真实标签之间的误差损失包括位置损失和置信损失；

所述数据接收单元用于将Kinect采集的骨骼图像视频传递到手势识别模块中；

所述动态手势建模单元用于将动态手势看成一系列手势姿态，然后设计一种手势识别的综合指标，确定检测动态手势的抽样间隔；所述手势识别的综合指标是识别概率和识别时间的加权和；所述识别概率是指每个手势姿态在正确类标上的概率；

所述ASIA手势识别单元包括识别界面、基于自适应抽样间隔调整策略和动态手势识别算法；所述识别界面包括视频展示区域、控制按钮和输出展示区域；所述控制按钮包括开始和停止；所述的基于自适应抽样间隔调整策略是指在检测识别动态手势时，根据综合指标自动调节抽样间隔；所述的动态手势识别算法是利用训练好的目标检测模型对动态手势进行抽样检测识别，然后根据识别结果计算出手势的类型。

2.根据权利要求1所述的基于目标检测的快速动态手势识别系统，其特征在于：训练手势动作包括数据集采集，数据处理，模型搭建和模型训练。

3.一种基于目标检测的动态手势识别方法，其特征在于，包括以下步骤：

(1)利用Kinect获取人体的骨骼图像，并采集骨骼图像下的手势动作视频；

(2)获取多组动态手势视频，将动态手势视频分解成一系列静态图片；

(3)对相同的动态手势分解成图片中的手势姿态标记成一个类别，然后对标记后的图片与相应文件压缩处理；将CAMshift算法应用到多尺度特征图预测算法构造出本文的目标检测单元，以适应手势形状的改变，并增强模型对动态手势的跟踪能力；

(4)利用目标检测单元和步骤(3)中的压缩文件对模型中的参数进行训练，如果训练中的准确率达到所需要求，则停止训练，进入步骤(5)；否则，继续训练；

(5)打开Kinect和识别界面，将目标检测模型的结构文件应用到动态手势识别算法中并开始，用户做相应的动态手势；停止后，输出结果展示该动态手势的类型；

(6)当识别动态手势时，如果手势识别的综合指标逐渐增大，抽样间隔会自动增大；如果综合指标会逐渐减小，抽样间隔也随之变小。