[发明专利]一种基于多尺度的Retinex和改进VGGNet网络的手势图像检索方法

权利要求书

1.一种基于多尺度的Retinex和改进VGGNet网络的手势图像检索方法，其特征是：包括如下步骤：

（1）图片预处理：采用多尺度Retinex算法对手势图像进行暗光增强，并在数据增强处理后对手势图片进行归一化，处理成CNN模型需要的数据输入格式；所述的对手势图片进行归一化处理成CNN模型需要的数据输入格式，所采用的方法步骤如下：

1）输入原始图像；

2） 预估出每个位置的噪声，并剔除，假设人眼看到的原始图像是图像光照分量L和反射率分量R的乘积，具体表示如公式1所示：

（1）

3）分离三个颜色通道空间分量并转化到对数域，从所拍摄的图片中合理计算出光照，保留物体的固有属性，消除光照分布不均的干扰；同时对公式1两边取对数，然后令，，可得到公式2：

（2）

4）设置高斯函数尺度的个数及大小；

5）高斯函数对图像的三个通道进行滤波，滤波后的图像就是光照分量，反射分量计算公式如下：

其中，表示第个通道的原始图像，为高斯滤波函数，表示第个通道的反射分量，*代表卷积，为尺度参数；

所述对手势图像进行数据增强，所采用的方法步骤如下：

1）对于一张手势图像，采用多种尺度的高斯滤波函数，对图像的三个通道进行滤波，对每个尺度的反射分量取加权平均，得到最终输出结果，可以将公式（3）变为：

其中，代表第个高斯滤波函数，表示高斯滤波函数的数量，是第个尺度的权重，个高斯滤波函数所占比例满足约束条件：

2）把从对数域转换到实数域得到；

3）对进行线性矫正处理，矫正后得到已增强的手势图像；

（2）特征提取：使用训练好的CNN模型对手势图像进行一系列的卷积、池化和全连接操作，提取手势图像的特征，对手势数据集进行预处理以及标签的标注、融合，并构建基于VGGNet网络结构，对其进行定义及初始化训练，将训练好的手势模型最后一个FC层提取到的特征作为图像的特征表示参与手势图像检索任务，同时引入哈希层，经过全连接层将特征进行融合，得到非线性组合特征，然后经过哈希层得到二进制哈希码，将该二进制哈希码作为特征向量来进行手势检索，构建特征数据库；

（3）相似度匹配：从特征数据库中获取图像列表，匹配出与查询图片相似的特征。

2.根据权利要求1所述的手势图像检索方法，其特征是：步骤（2）所述提取手势图像的特征包括两个面：一个是对用户上传的查询图片进行特征提取，另一个是对图片数据库进行特征提取构建图像特征数据库；所采用的提取特征方法步骤如下：

（1）数据预处理：对手势数据集的预处理以及标签的标注与整合，预处理包括数据增强、数据归一化；

（2）构建基于VGGNet网络结构：采用VGGNet16网络模型进行训练，对VGGNet16进行网络结构定义及初始化，设置学习率lr，批大小batch，迭代轮次epochs；

（3）训练模型：模型的训练和验证交替进行；

（4）将步骤（3）训练好的手势模型最后一个FC层提取到的特征作为图像的特征表示参与手势图像检索任务，输入为手势图像和类别标签，类别标签作为监督信息学习图像特征，每个分支学习不同的标签信息，经过全连接层将之前两个分支学习到的特征进行融合，得到非线性组合特征，然后经过哈希层将得到低维度的哈希特征，再经过哈希层得到二进制哈希码，最后将二进制哈希码作为特征向量来进行手势检索；

（5）保存模型文件；

（6）从测试集中随机选取100张图片作为查询图片，其余图片作为图像数据库，选取分类效果最好的模型作为特征提取器，构建特征数据库。