[发明专利]基于深度卷积神经网络的动态手势轨迹识别方法

说明书

本发明提出了一种基于深度卷积神经网络的动态手势轨迹识别方法，包括：采集原始输入的手势轨迹点序列进行预处理，检测手势轨迹点序列的异常点并排除；对预处理后的手势轨迹点序列进行边缘化处理，生成归一化手势轨迹图，利用已训练的深度卷积神经网络模型提取归一化手势轨迹图的深度特征；利用已训练的支持向量机识别出对应的手势轨迹点序列的形状类型；利用树形分类器依据手势轨迹点序列的形状类型划分未知方向类型；对识别出来的形状类型和方向类型进行融合，生成手势轨迹点序列的融合轨迹识别结果。本发明采用形状识别和方向识别，对手势轨迹点序列提供带有方向的动态手势识别服务，动态手势轨迹识别工作不受时空差异的影响、分类更加细致。

技术领域

本发明涉及计算机视觉及模式识别技术领域，特别涉及一种基于深度卷积神经网络的动态手势轨迹识别方法。

背景技术

随着人工智能新技术和输入输出设备新工艺的不断涌现，人机交互技术正朝着智能自动化的方向快速迈进，由原来计算机为中心的机械交互技术发展成以人为中心的多通道多媒体的智能交互技术上来。这些新型人机交互技术摆脱了旧有机械交互的束缚，越来越得到广大受众的喜爱，如皮肤显示器、指纹或角膜识别安全防护、眼动交互仪等。

手势，作为人们常用的沟通方式是一种具有强大潜力的人机自然交互方式。从时间角度，手势可分为静态手势和动态手势。静态手势可以看成是动态手势的基元，在连续一段时间内构成动态手势。理论上，研究动态手势就是要在时空上建立精确的关联模型。然而，由于手的非刚性，手势的几何特征很难得到广义的精细量化。故通常学者限定动态手势识别为判定手心依时序的动态空间轨迹类别，即动态手势被定义为参数空间中的手势轨迹，识别便是对手部运动的时空轨迹的类型划分。

动态手势的时空特性引起的手势轨迹识别，在持续时间和空间幅度上，同一手势很难有精确的界限范围，不同手势也不能武断有相异的时段。很多时候，即使由同一个人在连续时间刻意保持一致地做相同手势，也不免存在上述两个方面的差异。这造成手势轨迹的非线性波动，但克服时空特性的不稳定性影响却必须予以考虑，使得这项任务变得十分艰巨。

动态手势识别的方法分为四种：

第一，基于模板匹配的方法：将已知的手势轨迹作模板，利用模板匹配算法对待测的手势轨迹进行分类，它的性能依赖模板库的多样性和丰富性。这种方法具有高精度，但同时大幅降低了速度。

第二，基于结构知识的方法：需要提取手势轨迹的边缘和区域特征作为输入，利用先前的几何特征模型对输入特征进行度量识别。由于动态手势时空特性，这种方法的几何特征不易建立。

第三，基于统计特征的方法：先利用统计学和机器学习原理对大量样本进行训练处理得到分类器，然后使用分类器对未知样本进行类型划分。这种方法比较常见，如隐马尔可夫模型、人工神经网络、支持向量机等，但存在各种不同的问题。

第四，基于有限状态机的方法：通过手势轨迹的有限状态机，实现对预定义轨迹的判断。这种方法难点在于构建有效的特征字典和有限状态机模型。

专利(申请号：201310585572.6；名称：一种基于隐马尔科夫模型自增量学习的动态手势识别方法)公开了一种识别手势操作人在摄像头前完成的动态手势操作，并能将识别后的手势数据用于旧模型的增量学习以调整模型参数中的技术方案，可以使旧模型能动态适应未来手势数据中产生的新变化，使得模型能不断随着手势数据的调整。但是该方案仍是基于隐马尔可夫模型，只对轨迹点序列组成的状态空间关系感兴趣，造成多种案例划分为同一类型，识别结果粗糙，不够精确。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于深度卷积神经网络的动态手势轨迹识别方法，采用形状识别和方向识别，对手势轨迹点序列提供带有方向的动态手势识别服务，由于层次性功能分解、卷积神经网络和树形分类器的作用，使得动态手势轨迹识别工作不受时空差异的影响、分类更加细致。