[发明专利]一种基于改进的语义分割网络的实时图像检索方法

权利要求书

1.一种基于改进的语义分割网络的实时图像检索方法，其特征在于，包括以下步骤：

S1、收集检索图像组成需要训练的数据集，并对数据集进行扩充，将扩充后的数据集分为训练集、测试集、验证集；

S2、构建改进的实时计算的语义分割网络；通过改进的实时计算的语义分割网络的编码器提取到表达特征最优的卷积层的特征图后，经过全局平均池化方法生成图像的特征向量；编码器处理结果经过进行全连接或全局平均池化得到图像中包含的类别信息；特征向量与经过编码器得到图像中包含的类别信息向量进行合并，将图像中物体的类别信息添加到归一化的特征向量的尾部构造图像语义特征向量；

所述改进的实时计算的语义分割网络采用图像语义分割和实时检索深度学习网络框架；所述网络框架采用编码器-解码器结构，所述编码器的计算结果将用于对象特征信息向量的抽取，所述解码器将用于提取对象的类别信息；

所述编码器的编码网络采用轻量化网络MobileNet作为主干网络，并且在原网络的卷积层加入空洞卷积保持特征图的分辨率，同时选取带有邻近信息的空间金字塔池化模块ASPP，在ASPP网络结构中加入全局平均池化模块和a*a的池化层提取显著性较高的特征信息，并加入尺度为a*a的空洞卷积提取像素的关联信息；

所述解码器的解码网络采用双路融合的方式，所述解码网络使用语义特征融合模块SFFM，该SFFM合并经过ASPP网络结构采样过的高层图像特征和主干网络中的block3网格的底层信息特征，并利用两路输入的信息互为补充进一步减少参数量；对象特征信息向量的抽取有以下两种方式：

方式一：在原编码器网络的卷积层后添加一个全连接层得到固定长度的特征向量，公式如下，其中x₁到x_n为特征图对应位置的取值，w₁₁…w_nn为全连接层参数，a₁到a_n为从特征图得到的特征向量：

方式二：为添加全局平均池化模块构造特征向量，引入全局池化函数将特征图中各个像素点处的高维特征进行融合，使用经验加权平均方法，并令权重相同即得到平均值，抽取的特征X属于如下特征空间，其中h和w分别是特征图的高和宽，c是特征通道数：

X∈R^h×w×c (2)

将各空间位置的特征向量按照特征维数直接相加，再用空间位置总数归一化：

其中X_i表示位置i处的特征向量，ω_i表示对应于X_i的经验权值，得到即包含对象的归一化的图像特征向量；

S3、将训练集的图片输入改进的实时计算的语义分割网络，得到图片的语义向量，按照图片的类别信息存储语义向量，得到图像检索的语义向量数据库；

S4、将测试集中待检测图片送入改进的实时计算的语义分割网络得到语义特征向量，比较待检索的图片的语义类别和图像检索语义向量数据库中向量的图像的类别信息是否一致，得到包含带检索图片语义类别的候选图片组；

S5、将待检测图片的语义特征向量和候选图片组语义特征向量的进行匹配，得到最接近单位值的若干张图片即为检索结果。

2.根据权利要求1所述的一种基于改进的语义分割网络的实时图像检索方法，其特征在于，步骤S1是选取数据集PSCAL VOC 2012数据集和伯克利数据集合并构造扩充数据集。

3.根据权利要求2所述的一种基于改进的语义分割网络的实时图像检索方法，其特征在于，所述PSCAL VOC 2012数据集中共有二十一个类别，其中训练集、验证集、测试集的图像数目分别为M张、H张、R张，使用伯克利数据集进行扩充原数据集，最终得到训练图像、验证图像和测试图像。

4.根据权利要求3所述的一种基于改进的语义分割网络的实时图像检索方法，其特征在于，对训练集中所有的图片均进行步骤S2的处理构造图像检索数据库，并将测试集中待检测图片送入语义分割网络通过语义分割得到图片的语义特征向量。