[发明专利]一种基于级联深度神经网络的实时手势追踪方法

说明书

技术领域

本发明涉及高级计算机视觉及机器学习领域，尤其涉及一种基于级联深度神经网络的实时手势追踪方法。

背景技术

随着虚拟现实、增强现实等行业的飞速发展，解决用户的动作信息输入成为一个迫在眉睫的问题，而所有的人体动作信息中，手部的动作是最直观和方便的。因此，探索出一种快速、精准和实时级别的手势姿态追踪的方法，能够以最快的速度解决虚拟现实和增强现实的交互问题。

目前追踪手势姿态的方法主要有数据手套、图像数据分析，其中数据手套需要穿戴昂贵的设备，因此基于摄像头的图像数据分析成为首选。图像数据分析中，传统的方法一般是通过肤色区别手，探测手的各个节点，但会存在严重的遮挡问题，导致手势追踪极度不稳定、缓慢等问题，难以实用，并不能提供实时、稳定、精准的手势姿态。

发明内容

本发明的目的在于提供一种基于级联深度神经网络的实时手势追踪方法。

为实现上述目的，本发明提供如下技术方案：一种基于级联深度神经网络的实时手势追踪方法,包括以下步骤：

第一步，通过TOF摄像头及彩色摄像头获取图像数据，并通过图像数据流进入图像预处理器；

第二步，图像预处理器对图像数据进行预处理操作，然后将处理后的数据通过预处理数据流送入初级特征提取器；

第三步，初级特征提取器将对预处理后的数据进行基本特征提取，形成初级特征，并将初级特征通过初级特征流送入级联人工神经网络系统；

第四步，级联人工神经网络系统进行进一步的高级特征抽象处理，形成高级抽象特征，并通过高级抽象特征流传递至模式匹配器；

第五步，模式匹配器将会根据特征抽象处理后的高级抽象特征，进行模糊的模式匹配，并将模式匹配的相关数据通过手势模式数据流的方式传递至姿态处理中心；

第六步，最后通过姿态处理中心计算手部的二十六个节点的所有位置得出手部姿态和空间位置数据，并通过手势姿态数据流将其传递给计算机应用。

进一步，第二步中的预处理操作包括图像数据的接收、图像数据分块、提取边缘、提取角点、降采样和构建降采样数据的数据包，最后将构建的数据包通过数据包流，即预处理数据流送入初级特征提取器。

进一步，所述提取边缘具体为利用拉普拉斯边缘提取器提取边缘；提取角点具体为利用Harris角点提取器提取角点。

进一步，第三步中的基本特征提取包括解开数据包、尺度不变特征提取、特征筛选形成初级特征和构建初级特征数据包，最后将构建的初级特征数据包通过初级特征数据包流，即初级特征流送入级联人工神经网络系统。

进一步，所述尺度不变特征提取具体为使用SIFT算法进行提取。

进一步，第四步中的高级特征抽象处理包括解开初级特征数据包、级联人工神经网络系统抽取特征、高级抽象特征筛选形成高级抽象特征和构建高级特征数据包，最后将构建的高级特征数据包通过构建高级特征数据包流，即高级抽象特征流传递至模式匹配器。

进一步，所述级联人工神经网络系统抽取特征包括数据并行分解、最大池化处理、图像卷积处理、卷积图像层级化处理和数据正规化处理；最后通过完全链接层与高级抽象特征筛选交互。

与现有技术相比，本发明的有益效果是：本发明利用级联人工神经网络系统，将人体手部的图像信息进行了快速的特征提取、匹配、姿态解算等过程，确保能够实时获取人体手部的26个关节点的所有空间位置信息，具有实时性高、精准度高、稳定性强、易于复用等优点。

附图说明

下面结合附图对本发明进一步说明。

图1为本发明的工作系统架构图；

图2为本发明的技术方案流程图；

图3为本发明的图像预处理器运行流程图；

图4为本发明的初级特征提取器运行流程图；

图5为本发明的级联人工神经网络系统运行流程图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不限于此。

如图1、图2、图3、图4和图5所示的一种基于级联深度神经网络的实时手势追踪方法,包括以下步骤：

第一步，通过TOF摄像头及彩色摄像头获取手势的原始图像数据，并通过图像数据流进入图像预处理器；