[发明专利]一种基于改进的语义分割网络的实时图像检索方法

说明书

本发明公开的一种基于改进的语义分割网络的实时图像检索方法，包括以下步骤：S1、收集检索图像组成需要训练的数据集，并对数据集进行扩充，将扩充后的数据集分为训练集、测试集、验证集；S2、构建改进的实时计算的语义分割网络；S3、将训练集的图片输入改进的实时计算的语义分割网络，得到图片的语义向量，按照图片的类别信息存储语义向量，得到图像检索的语义向量数据库；S4、将测试集中待检测图片送入改进的实时计算的语义分割网络得到语义特征向量，比较待检索的图片的语义类别和图像检索语义向量数据库中向量的图像得到包含带检索图片语义类别的候选图片组；S5、将待检测图片的语义特征向量和候选图片组语义特征向量的进行匹配。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于改进的语义分割网络的实时图像检索方法。

背景技术

依据图像基本视觉特征，从数据库中查找出用户所需求图像的技术称为基于内容的图像检索(CBIR)。通常情况下，用户的需求是以查询图像的方式给定的。简单来讲，它需要通过对用户待查询图像的内容分析，提取合适的检索特征，将图像数据库中符合特征的图片检索得到结果。CBIR作为日常生活中的一项工程性需求，己经被广泛应用于百度，Google等检索网站，也被嵌入各种电商平台，例如京东、淘宝等。传统的图像检索方法使用手工设计的特征提取算子获得图像的低级视觉特征。低级视觉特征包括色彩、边缘、纹理、位置和几何形状等。常用的提取方法包括Gabor滤波器、SIFT算子、SURF算子等。但上述手工设计的特征算子不具有泛化能力，仅对于某一类别有较好的提取能力而对其他类别提取能力弱。图像检索需要处理上百种类别的图像故使用低级视觉特征提取算子存在很大的局限性(阮梦慧.基于卷积神经网络的图像检索若干关键技术研究[D].浙江理工大学,2020.)。

近年来深度学习的发展，基于深度学习的图像处理技术相比于传统图像特征提取方法有着更好的效果。语义分割是计算机视觉的一种任务，使用深度学习技术进行语义分割已经取得了较好的效果。目前将语义分割方法应用在图像检索任务上仍存在一些如检索效率较低准确率不够高，不能提供语义理解等问题。使之在一些实时性较高的场合如无人驾驶车辆的闭环图像检测问题和大规模多类别图像检索问题上仍然有较大的提升空间(姜思瑶.基于全卷积神经网络模型的语义分割算法[D].辽宁工程技术大学,2020.)。

发明内容

本发明的目的在于解决图像检索任务中的查准率和快速性问题，提出一种基于改进语义分割网络的实时图像检索方法。应用于实时性要求较高的检索场景中有更好的效果。

本发明至少通过如下技术方案之一实现。

一种基于改进的语义分割网络的实时图像检索方法，包括以下步骤：

S1、收集检索图像组成需要训练的数据集，并对数据集进行扩充，将扩充后的数据集分为训练集、测试集、验证集；

S2、构建改进的实时计算的语义分割网络；

S3、将训练集的图片输入改进的实时计算的语义分割网络，得到图片的语义向量，按照图片的类别信息存储语义向量，得到图像检索的语义向量数据库；

S4、将测试集中待检测图片送入改进的实时计算的语义分割网络得到语义特征向量，比较待检索的图片的语义类别和图像检索语义向量数据库中向量的图像的类别信息是否一致，得到包含带检索图片语义类别的候选图片组；

S5、将待检测图片的语义特征向量和候选图片组语义特征向量的进行匹配，得到最接近单位值的若干张图片即为检索结果。

优选的，步骤S1是选取数据集PASCAL(Pattern Analysis,StatisticalModelling and Computational Learning(模式分析，统计建模和计算学习)VOC(视觉对象类(Visual Object Classes)2012和伯克利数据集合并构造扩充数据集。