[发明专利]基于神经网络的手势识别方法、装置、存储介质及设备

权利要求书

1.一种基于神经网络的手势识别方法，其特征在于，包括：

获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；

将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；

计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。

2.根据权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤，包括：

将原始手势图像划分为若干子区域；

对每个子区域中的像素窗口均执行如下操作：以窗口中心像素的灰度值作为阈值，将相邻像素的灰度值与其进行比较，获得该像素窗口的LBP值；

用像素窗口的LBP值代替该像素窗口的原灰度值，获得所述原始手势图像对应的二值化手势图像。

3.根据权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别的步骤之前，还包括：

根据训练手势图像建立神经网络模型；其中，建立神经网络模型的步骤，包括：

获取预设的训练图像集合中的训练手势图像，对所述训练手势图像及其二值化手势图像进行特征提取，分别获得训练手势图像及二值化手势图像对应的N维特征向量，整合所述N维特征向量获得2N维特征向量；

基于该2N维特征向量进行特征向量的对比，利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型。

4.根据权利要求3所述的基于神经网络的手势识别方法，其特征在于，所述利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型的步骤，包括：

采用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型；

提取正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及该正样本手势图像对应的手势类型输入初始双通道神经网络模型，获得2N维特征向量的初始权重值；

利用正样本手势图像集中所有正样本手势图像及对应的手势类型不断调整初始双通道神经网络模型中各特征向量的初始权重值，各特征向量的权重值确定后，获得双通道神经网络模型。

5.根据权利要求3所述的基于神经网络的手势识别方法，其特征在于，获得二值化手势图像对应的N维特征向量的步骤，包括：

将所述二值化手势图像划分为N个子区域；

获取所述N个子区域的LBP直方图，对所述LBP直方图进行归一化处理；

将归一化处理后的N个子区域的直方图进行连接，获得二值化手势图像对应的N维特征向量。

6.根据权利要求3所述的基于神经网络的手势识别方法，其特征在于，所述计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型的步骤，包括：

获得原始手势图像的特征向量及数据库中各正样本手势图像的同维度特征向量，计算原始手势图像的特征向量与各正样本手势图像的特征向量之间的欧式距离；

根据所述欧式距离获得原始手势图像与各正样本手势图像之间的置信度，将最高置信度对应的正样本手势类型输出为原始手势图像中的手势类型。

7.根据权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤之前，还包括：

利用保边降噪算法对原始手势图像进行降噪处理。