[发明专利]一种基于半监督多模态哈希编码的跨模态检索方法

权利要求书

1.一种基于半监督多模态哈希编码的跨模态检索方法，其特征在于，包括：

S1：对原始图像数据进行预处理，获得所述原始图像数据的实数矩阵向量，具体地，所述实数矩阵向量包括所述原始图像数据中有标记数据组成的有标记数据矩阵X^l、所述原始图像数据中无标记数据组成的无标记数据矩阵X^u以及所述原始图像数据中有标记数据的标记组成的标记矩阵L^l；

S2：根据所述实数矩阵向量获取辅助变量；

S3：根据所述辅助变量估计所述原始图像数据中无标记数据的标记矩阵；

S4：根据原始图像数据中有标记数据的标记矩阵和已估计的无标记数据的标记矩阵生成哈希编码矩阵；

S5：根据所述哈希编码矩阵进行数据检索，搜索检索数据库中与目标向量距离最近的向量，

所述S2包括：

S21：建立辅助变量H^l,_i,的最小化问题模型：

其中，表示第i个模态中有标记数据组成的矩阵向量，L^l表示所述原始图像数据中有标记数据的标记组成的标记矩阵，α表示预设参数，K表示模态数量，f是sigmoid函数，f(x)＝1/(1+e^-x)，F表示计算矩阵F范数；

S22：利用梯度下降法计算所述辅助变量H^l,_i和O；

所述S3包括：

S31：建立所述原始图像数据中无标记数据的标记矩阵L^u的估计模型：

其中，tr表示取矩阵的迹，P_i，为辅助变量，表示第i个模态中无标记数据组成的矩阵向量；

S32：利用交替迭代法获取所述标记矩阵L^u；

所述S4包括：

S41：建立所述哈希编码矩阵B的最小化问题模型：

其中，U_i和S为辅助变量，B^l表示所述原始图像数据中有标记数据的哈希编码，B^u表示所述原始图像数据中无标记数据的哈希编码，β^l和β^u表示预设参数；

S42：利用梯度下降法获取所述哈希编码B^l和B^u；

S43：根据所述哈希编码B^l和B^u生成哈希编码矩阵B。

2.根据权利要求1所述的基于半监督多模态哈希编码的跨模态检索方法，其特征在于，所述S22包括：

S221：对所述辅助变量W_i和O进行随机初始化；

S222：计算辅助变量H^l，计算公式为：

其中，round表示四舍五入取整函数，L^l表示所述原始图像数据中有标记数据的标记组成的标记矩阵，K≥i≥1；

S223：更新辅助变量O，更新公式为：

其中，Δt表示预设参数，表示矩阵内积，T表示转置；

S224：更新辅助变量W_i，更新公式为：

S225：根据更新后的辅助变量H^l,_i和O计算并更新所述最小化问题模型E₁并与更新前的E₁进行比较，判断更新前后E₁的变化值是否小于预定值，若否，则返回S222继续进行迭代计算，若是，则执行S226；

S226：停止迭代，获取所述辅助变量H^l,_i和O的最终值。