[发明专利]一种基于深度卷积特征和语义相似度量的图像检索方法

权利要求书

1.一种基于深度卷积特征和语义相似度量的图像检索方法，其特征在于：针对图像集，利用已训练好的深度卷积神经网络模型提取每一幅图像的卷积层特征，对所提的卷积层特征进行聚合表示，然后采用AFS框架对其进行语义描述，在此基础上定义一种基于语义相似的图像相似度度量方法，并依此对图像库中的图像的相似性进行计算，最终通过对相似性的排序完成图像检索任务；

假设图像集为X＝{x₁,x₂,…,x_N}中有N个图像样本，所述图像检索方法的具体步骤如下：

Step1、图像特征提取：

针对图像集中的每一幅图像执行Step1.1-Step1.4，具体步骤为：

Step1.1、将图像归一化为所用网络模型适合的大小；

Step1.2、将归一化后的图像送入VGG-verydeep-16的网络；

Step1.3、提取VGG-verydeep-16网络中pool5层H*W*L维的卷积特征；

Step1.4、基于Sum-pooling方式对H*W*L维的卷积特征进行聚合并形成D维特征，得到N*D维的原始图像特征矩阵；

Step1.5、利用PCA将N*D维的原始图像特征矩阵维数降至N*d维；

Step2、图像特征的语义化：

Step2.1、将图像集的每个属性空间采用线性变换的方式将属性值归一化到[0,1]区间，构成图像特征空间F＝{f₁,f₂,…,f_d}，其中f_i为N*1的向量，表示N个图像的第i个属性值；

Step2.2、基于公理模糊集理论的特征语义表示：

Step2.2.1、构造简单语义集M；

在特征空间F上构造一个简单语义概念集M＝{m_i,j|1≤i≤d,1≤j≤3}，其中m_i,1,m_i,2,m_i,3分别表示特征f_i上的“小”、“中”和“大”的概念，其权重函数分别为和

Step2.2.2、在简单语义的基础上构造复杂语义集合Υ；

在简单概念集M上，对两个或两个以上的简单语义进行合取或者析取运算，即可生成一个新的模糊语义集A，对于任意一个A_r,r∈R通过下式构造复杂语义集Υ：

Step2.2.3、假设M是一个非空集合，用EM^*来表示图像集X在简单概念集M上构造的所有语义的总和，表示如下：

Step2.3、语义隶属度计算：

(1)语义隶属程度：

假设A是图像集X上的任一模糊语义集合，对于x∈X，A^τ(x)为图像x属于A的程度，程度越高表示该语义越适合描述该图像，具体表示如下：

其中，m为M集合中的一个简单概念，τ_m(x,y)表示图像x属于概念m的程度不大于图像y属于m的程度，即A^τ(x)是符合τ_m(x,y)条件的所有图像y的集合，是图像集X的一个子集；

(2)模构建模糊语义隶属度函数：

任意模糊概念ξ∈EM^*的隶属度函数，按照如下公式计算：

其中，N_u表示图像的观测次数，μ_ξ(x)即可称为图像x属于概念ξ的隶属度；

Step2.4、构造每个图像的语义表示：

Step2.4.1、根据公式(4)计算每个图像x∈X属于每个简单语义的隶属度；

Step2.4.2、设定阈值ε筛选并构造图像x简单语义集

Step2.4.3、将筛选得到的简单语义，通过最终得到图像x的语义描述

Step3、计算图像之间的语义相似度：

定义图像x和图像y之间的语义相似度为：

其中，和分别是通过Step2.4.3得到的图像x和y的语义描述，x^k和y^k分表表示图像x和图像y的第k个最近邻图像，当用图像x与y的语义描述分别来描述对方及对方的k近邻图像，其描述的程度越高，图像x与y越相似；

Step4、通过Step3即可计算得到图像集X＝{x₁,x₂,…,x_N}中所有图像和图像之间的相似度矩阵S＝{s_i,j|i,j＝1,2,...,N},其中s_i,j表示第i幅图像和第j幅图像的相似度，当以图像集中的第i幅图像作为查询图像时，即可按照S中第i行的值由大到小排序，并依次返回下标索引所对应的图像，越排在前面的表示相似度越高。