[发明专利]一种基于语义偏好的快速图像检索方法

权利要求书

1.一种基于语义偏好的快速图像检索方法，其特征在于，包括以下步骤：

(1)、训练语义中心分配模块，获取语义中心矩阵V

1.1)、在给定的带标签的训练数据集中，统计各标签对应的图像集，计算标签i与标签j的关联度S_i,j：

其中，I_i为标签i对应的图像集合，I_j为标签j对应的图像集合，|| ||表示求图像集合的大小；

1.2)、语义中心分配模块的参数即各标签的语义中心,在初始化时，语义中心分配模块用随机值来初始化各标签的语义中心，然后计算每对语义中心的势能G_s(v_i,v_j)：

G_s(v_i,v_j)＝||cos(v_i,v_j)-S_i,j||₂

其中，v_i为标签i对应的语义中心，v_j为标签j对应的语义中心，语义中心为D维实数向量即cos(v_i,v_j)表示求语义中心v_i、v_j的余弦值，|| ||₂表示求二范数；

1.3)、计算融合了难样本挖掘技术的语义中心损失

其中，N_c表示标签的数量；

1.4)、根据语义中心损失通过梯度下降法迭代地优化各语义中心，直到语义中心损失收敛；

1.5)、应用归一化方程，将优化过后的各语义中心投影至同一超球面：

其中，R为超球面的半径；

1.6)、将各语义中心逐列拼接起来得到语义中心矩阵V，其中，第i列表示标签i对应的语义中心v_i；

(2)、基于语义中心矩阵V训练特征提取网络模块

构建由卷积神经网络层、用于分类的全连接层FC_c以及用于特征映射的全连接层FC_g组成特征提取网络模块，然后进行训练：

2.1)、在训练数据集中，选取一张图像及其对应的标签，将选取的图像进行数据增强操作后输入卷积神经网络层，得到隐藏特征向量f；

2.2)、将隐藏特征向量f分别输入到全连接层FC_c和全连接层FC_g，分别得到图像对应的N_c维实数标签预测向量p即和D维实数特征向量x即

2.3)、对标签预测向量p计算交叉熵损失其中y表示图像对应的01标签向量，所述01标签向量为Nc维01组成的列向量，其中图像对应标签序号位为1，其余为0；

2.4)、图像对应的目标语义向量t将会由其对应的语义中心融合得到，即：

2.5)、基于目标语义向量t，计算聚集损失

其中，第一项表示特征提取模块输出的特征向量x同目标语义向量t的余弦相似度，第二项用于通过L2范数约束特征向量x的模长，而λ_mag是平衡系数；

2.6)、同时考虑分类损失和聚集损失得到用于优化特征提取模块的损失

其中，λ_C是用于平衡分类损失和聚集损失的影响的超参数；

2.7)、根据损失通过梯度下降法，优化特征提取网络模块参数，不断重复步骤2.1)到步骤2.7)，直至损失收敛，然后固定特征提取模块的参数，完成特征提取网络模块的训练；

(3)、使用特征提取网络模块得到特征向量并训练语义偏好量化模块

3.1)、在训练数据集中，选取一张图像及其对应的标签，将选取的图像进行数据增强操作后输入训练好的特征提取网络模块，得到特征向量并按照维度将特征向量x均匀划分为M个特征子向量其中M为语义偏好量化模块中量化器的数量；

3.2)、语义偏好量化模块中的第m个量化器的码字集合C_m为K为码字集合C_m中码字的数量，为每个码字C_m,k设定各自的语义偏好P_m,k，这样，码字集合C_m对应的语义偏好集合P_m为{P_m,k∈N^*|1≤k≤K}，其中，N^*表示自然数，P_m,k∈[1,N_c]，令：

P_m,k＝k％N_c+1

其中％表示取余数；3.3)、构建语义偏好量化模块的整体损失为：

其中：

表示图像对应的01标签向量的P_m,k位；

其中：是关于特征子向量x_m和码字集C_SP(m,y)的损失函数，其公式为：

其中，λ_div为平衡系数，而为量化损失，其计算公式为：

表示码字集C_SP(m,y)中的第k₁个码字，表示码字集C_SP(m,y)中的第k₂个码字，K′是码字集C_SP(m,y)中码字的数量，γ_hard与γ_soft为调节近似程度的超参数，T为优化的迭代次数，λ_soft为平衡系数；

其中，为多样化损失：

3.4)、根据整体损失通过梯度下降法，优化语义偏好量化模块的量化器，不断重复步骤3.1)到步骤3.4)，直至整体损失收敛，完成语义偏好量化模块的训练；

(4)、使用特征提取模块提取图像检索数据库中每一张图像的特征向量，并做向量切分得到M个特征子向量输入语义偏好量化模块中，每个特征子向量x_m分别与对应的量化器的码字集合C_m的码字C_m,k进行距离计算，得到K个距离值，找出距离最小的码字序号，记为这样M个特征子向量得到M个距离最小的码字序号并构成该图像的M个量化编码；

(5)、在线查询阶段中，首先将查询图像输入特征提取模块得到对应的特征向量q，并做向量切分得到M个特征子向量输入语义偏好量化模块中，每个特征子向量q_m分别与对应的量化器的码字集合C_m的码字C_m,k进行距离计算，得到K个距离值d_m,k,k＝1,2,…,K，这样M个特征子向量得到的M×K个距离值构成快速查找表；

然后，对于图像检索数据库中每一张图像，将其每一个量化编码作为索引，在快速查找表对应的K个距离值d_m,k,k＝1,2,…,K，找到位置的距离值，这样，找到M个距离值然后将这M个距离值相加，得到的距离值并作为查询图像与图像检索数据库中该图像的近似距离；

最后，依据近似距离，将距离值从小到大输出图像检索数据库的图像作为检索结果，完成图像的快速检索。

2.根据权利要求1所述的基于语义偏好的快速图像检索方法，其特征在于，所述距离为欧式距离。