[发明专利]一种基于手势识别的增强现实交互方法

权利要求书

1.一种基于手势识别的增强现实交互方法，其特征在于，包括：

基于MobileNet神经网络并结合SSD进行静态手势识别，包括：

根据需要识别的动态手势类型，建立复杂背景下多人多角度的静态手势数据集，利用MobileNet基础深度神经网络并结合SSD目标检测算法框架，在该数据集上进行训练，生成手势检测模型，以对获取到的静态手势进行识别；

基于视频分帧进行动态手势识别，包括：利用人手稳定时连续多帧的手势检测类别相同的特点，来判断需要处理的有效手势，在动态手势变化过程中出现的短暂手势视为无效手势；

设计动态手势识别算法，包括：设计动态手势类别变化识别算法，进行在动态手势识别过程中手势类型发生变化的动态手势识别；设计动态手势轨迹变化识别算法，完成在动态手势识别过程中，手势类型未发生变化，而手势坐标或面积发生变化的动态手势识别任务；

基于动态手势识别进行人机交互，包括：

捕获使用者的手势影像，在将短视频进行分帧处理后，将截取到的帧图像进行静态手势识别，并将识别到的结果记录下来，并结合动态手势识别算法进行判断，得到对应动态手势类别变化识别算法中的四种变化手势以及动态手势轨迹变化识别算法中的6种轨迹变化手势的类别和对应的位移量以及面积比。

2.如权利要求1所述的基于手势识别的增强现实交互方法，其特征在于，建立复杂背景下多人多角度的静态手势数据集，包括：

搜集相关手势图像，根据增强现实人机交互所需动态手势分析，共需要识别五种静态手势图像包括：手背、手掌、握拳、手指直立以及手指弯曲图像；

标注搜集到的静态手势图像，将完整的手势连同背景一起圈起来，接着保存形成标注文件。

3.如权利要求1所述的基于手势识别的增强现实交互方法，其特征在于，利用MobileNet基础深度神经网络并结合SSD目标检测算法框架，在该数据集上进行训练，生成手势检测模型包括：

预训练模型版本选择的是SSD框架中前端网络中的网络模型ssd_mobilenet_v1，编写该网络模型的训练配置文件，结合静态手势数据集，训练出增强现实系统人机交互所需要定制的模型；

训练步数设定为95000步，使用TensorFlow自带的可视化工具TensorBoard可查看模型训练情况，随着训练步数的增加模型的损失率逐渐减小，并最终接近1.0，训练结束之后，调用Object Detection API库中的export_inference_graph.py脚本将包含模型结构和参数的临时文件转化为可独立运行的PB模型文件，将生成的PB模型文件移植到Andriod平台即可完成静态手势识别任务。

4.如权利要求3所述的基于手势识别的增强现实交互方法，其特征在于，对于训练过程经多次试验测试后，设置初始学习率为0.004，衰减速度和系数分别为800、720和0.95，根据根据不同的识别物体、应用场景、对识别率的要求以及对识别时间的要求不同，设置的参数不同。

5.如权利要求1所述的基于手势识别的增强现实交互方法，其特征在于，设计10种基本的动态手势，与静态手势的关系包括：

。

6.如权利要求1所述的基于手势识别的增强现实交互方法，其特征在于，动态手势类别变化识别算法包括：

对于握拳、张开、弯曲手指以及伸直手指四个动态手势，首先获取起始手势检测信息，同一种手势信息达到四帧，则认为是稳定手势，记为起始手势，当下一个稳定手势与上一个稳定手势不一样，获取终止手势信息，手势检测信息再发生变化，开始识别下一个手势，将下一个稳定手势的信息记为结束手势；输出阶段，若起始手势与终止手势属于自定义的种静态手势，则输出该动态手势。