[发明专利]一种基于级联深度神经网络的实时手势追踪方法

摘要

本发明公开了一种基于级联深度神经网络的实时手势追踪方法，通过TOF摄像头及彩色摄像头获取图像数据，由图像预处理器对图像数据进行预处理操作，使用初级特征提取器将对预处理后的数据进行基本特征提取，再由级联人工神经网络系统进行进一步的高级特征抽象处理，经过模式匹配器根据特征抽象处理后的高级抽象特征进行模式匹配，最后通过姿态处理中心计算手部的二十六个节点的所有位置得出手部姿态和空间位置数据，并通过手势姿态数据流将其传递给计算机应用；通过本发明将人体手部的图像信息进行了快速的特征提取、匹配、姿态解算等过程，以此来保证计算出的手势姿态的稳定性、精确性及实时性。

主权项

一种基于级联深度神经网络的实时手势追踪方法,其特征在于包括以下步骤：第一步，通过TOF摄像头及彩色摄像头获取图像数据，并通过图像数据流进入图像预处理器；第二步，图像预处理器对图像数据进行预处理操作，然后将预处理后的数据通过预处理数据流送入初级特征提取器；第三步，初级特征提取器将对预处理后的数据进行基本特征提取，形成初级特征，并将初级特征通过初级特征流送入级联人工神经网络系统；第四步，级联人工神经网络系统进行进一步的高级特征抽象处理，形成高级抽象特征，并通过高级抽象特征流传递至模式匹配器；第五步，模式匹配器将会根据特征抽象处理后的高级抽象特征，进行模糊的模式匹配，并将模式匹配的相关数据通过手势模式数据流的方式传递至姿态处理中心；第六步，最后通过姿态处理中心计算手部的二十六个节点的所有位置得出手部姿态和空间位置数据，并通过手势姿态数据流将其传递给计算机应用。