[发明专利]一种基于多尺度的Retinex和改进VGGNet网络的手势图像检索方法

说明书

本发明公开了一种基于多尺度的Retinex和改进VGGNet网络的手势图像检索方法，该方法通过多尺度的Retinex方法对手势数据图像进行增强后，对采用深度学习方法对模型进行训练。当手势图像检索模型训练好之后，将最后一个FC层提取到的特征作为图像的特征表示参与手势图像检索任务，并改进的VGGNet的多分支网络结构中引入哈希层，模型的输入为手势图像和类别标签，类别标签作为监督信息学习图像特征，每个分支学习不同的标签信息，经过全连接层将之前两个分支学习到的特征进行融合，得到非线性组合特征，然后经过哈希层将得到低维度的哈希特征，再经过哈希层得到二进制哈希吗，最后将二进制哈希码作为特征向量来进行手势检索。在保证准确率的前提下，提高手势检索的效率。

技术领域

本发明涉及手势图像检索方法，具体是一种基于多尺度的Retinex和改进VGGNet网络的手势图像检索方法。

背景技术

近年来，深度学习在计算机视觉领域取得了一系列比传统方法要好的成果，深度学习技术已经成为当前最受欢迎的研究方法之一。在采用高维度的特征向量进行手势特征向量相似度计算时，由于VGGNet倒数第二层全连接层特征维度高达4096维，并且这些特征都是以浮点数进行存储，进行手势图像检索时会大大增加相似度匹配的时间，导致了极差的用户体验。

发明内容

本发明的目的是针对现有技术中高维度的特征向量在进行手势特征向量相似度计算时速度较慢的问题，而提出一种基于多尺度的Retinex和改进VGGNet网络的手势图像检索方法，该方法通过对VGGNet的网络结构进行改进，在保证手势图像检索准确率的前提下，提高手势检索的效率。

实现本发明目的的技术方案是：

一种基于多尺度的Retinex和改进VGGNet网络的手势图像检索方法，包括如下步骤：

(1)图片预处理：采用多尺度Retinex算法对手势图像进行暗光增强，并在数据增强处理后对手势图片进行归一化，处理成CNN模型需要的数据输入格式；

(2)特征提取：使用训练好的CNN模型对手势图像进行一系列的卷积、池化和全连接操作，提取手势图像的特征，对手势数据集进行预处理以及标签的标注、融合，并构建基于VGGNet网络结构，对其进行定义及初始化训练，将训练好的手势模型最后一个FC层提取到的特征作为图像的特征表示参与手势图像检索任务，同时引入哈希层，经过全连接层将特征进行融合，得到非线性组合特征，然后经过哈希层得到二进制哈希码，将该二进制哈希码作为特征向量来进行手势检索，构建特征数据库；

(3)相似度匹配：从特征数据库中获取图像列表，匹配出与查询图片相似的特征。

步骤(1)所述的对手势图片进行归一化处理成CNN模型需要的数据输入格式，所采用的方法步骤如下：

1)输入原始图像I(x,y)；

2)预估出每个位置的噪声，并剔除，假设人眼看到的图像I是图像光照分量L和反射率分量R的乘积，具体表示如公式1所示：

I(x，y)＝R(x，y)·L(x，y) (1)

3)分离三个颜色通道空间分量并转化到对数域，从所拍摄的图片I中合理计算出光照L，保留物体的固有属性R，消除光照分布不均的干扰；同时对公式1两边取对数，然后令i(x,y)＝log(I(x,y))，r(x,y)＝log(R(x,y))，l(x,y)＝log(L(x,y))可得到公式2：

i(x,y)＝r(x,y)+l(x,y) (2)

4)设置高斯函数尺度的个数及大小；

5)高斯函数对图像的三个通道进行滤波，滤波后的图像就是光照分量，获取图像r(x,y)，反射分量计算公式如下。