[发明专利]一种基于深度学习的手势识别方法

摘要

本发明公开了一种基于深度学习的手势识别方法，包括以下步骤对采集到的手势图像进行降噪处理、消除手势图像中的色彩偏移现象；采用帧间差分方法和颜色特征检测方法锁定手势在图像中的所在区域，采用CamShift算法对手势进行跟踪，获取手势目标；对手势目标图像进行深度学习；将获取的待识别手势图像输入训练后的深度信念网络模型中，完成手势的识别分类。

主权项

一种基于深度学习的手势识别方法，其特征在于包括以下步骤：S1：对采集到的手势图像采用中值滤波方法对图像进行降噪处理，采用灰度世界色彩均衡方法消除手势图像中的色彩偏移现象；S2：采用帧间差分方法和颜色特征检测方法锁定手势在图像中的所在区域，采用CamShift算法对手势进行跟踪；S3：对手势图像进行基于YCgCr色彩空间的二维高斯建模和手势图像的二值化处理：对手势图像进行灰度直方图统计，从统计的图像灰度直方图中，根据某灰度值出现的概率密度获取手势目标；S4：对S3中手势目标图像进行深度学习：将手势目标图像的数据信息构造成数据立方体的形式，建立深度信念网络模型，将含有手势信息的数据立方体形式的目标图像数据输入深度信念网络模型中，进行逐层训练和微调，得到整个深度信念网络的连接权值和偏置参数；S4中所述建立深度信念网络模型时的联合分布函数为：E(v,h|θ)=-Σi∈visibleaivi-Σj∈hiddenbjhj-Σi,jvihjwij---(39)]]>其中θ＝{ai,bj,wij}为深度信念网络的参数，其中ai为可见层节点i的偏置，bj为隐含层节点j的偏置，wij为可见层节点i与隐含层节点j连接的权重；采用逐层贪心算法逐层对深度信念网络模型进行训练，具体采用如下方式：当给定已知输入节点时，采用联合分布函数(39)激励隐含层的所有节点后，再进行下一隐含层节点的激励，从而重新获得可见层节点，通过实际输入数据与模型得到的数据，对网络模型权值进行更新；Δwij＝ε(<vihj>data‑<vihj>model)  (43)其中，<vihj>data是给定样本的数学期望，<vihj>model是网络模型产生的数学期望；采用对比散度算法计算可见层数据的条件分布，得到隐含层数据，再用计算所得隐含层数据的条件分布，计算可见层，即实现了重构可见层的数据，利用梯度下降法采用下列方式，对训练数据进行参数调整和更新，即Δwij＝ε(<vihj>data‑<vihj>recon)  (44)Δai＝ε(<vi>data‑<vi>recon)  (45)Δbj＝ε(<hj>data‑<hj>recon)  (46)式中，<vihj>recon为重构后网络模型的输出，ε为学习率，经过上述数据训练得到网络模型最后一层隐含层的输出，将最后一层的输出作为Logistic回归层的输入，利用Logistic回归softmax函数(47)得到数据输出；用模型输出与训练输入数据之差来调整Logistic回归层的权值，通过数据训练和微调，得到整个网络层的连接权值和偏置参数；S5：将获取的待识别手势图像按照步骤S1、S2和S3处理后构造成数据立方体的形式，并输入S4中训练完成的深度信念网络模型，完成手势的识别分类；S5中手势的识别分类具体采用如下方式：Si=softmax(gi)=egiΣi=1degi---(47)]]>式中，gi(x)＝wX+b，其中，w是深度信念网络模型的权值参数和b是偏置参数，X表示隐含层节点的状态。