[发明专利]基于非参数贝叶斯模型的监督跨模态哈希检索方法

摘要

本发明提出了一种基于非参数贝叶斯模型的监督跨模态哈希检索方法，用于解决现有跨模态哈希检索方法中存在的检索精度低的技术问题。实现步骤为：获取归一化训练数据和测试数据；对归一化训练数据进行分类；获取归一化训练数据的三个训练数据参数；获取归一化图像训练数据和归一化文本训练数据同属于每一类的概率；获取训练数据后验概率；获取归一化图像训练数据和归一化文本训练数据的统一哈希编码；获取测试数据哈希编码；计算测试数据哈希编码与归一化图像训练数据和归一化文本训练数据统一哈希编码的汉明距离矩阵；获取测试数据的检索结果。本发明的检索精度高，可用于移动终端设备以及物联网的图像与文本互搜索服务。

主权项

一种基于非参数贝叶斯模型的监督跨模态哈希检索方法，包括如下步骤：(1)获取原始训练数据，并对原始训练数据进行归一化，得到归一化训练数据X(t)，其中，t表示归一化训练数据的类型，且t∈{1,2}，X(1)表示归一化图像训练数据，X(2)表示归一化文本训练数据；(2)获取原始测试数据，并对原始测试数据进行归一化，得到归一化测试数据Y(t)，其中，t表示归一化测试数据的类型，且t∈{1,2}，Y(1)表示归一化图像测试数据，Y(2)表示归一化文本测试数据；(3)对归一化训练数据X(t)进行分类：根据归一化训练数据X(t)所对应的类标信息L，将归一化图像训练数据X(1)和归一化文本训练数据X(2)均分为C类；(4)获取归一化训练数据X(t)的三个训练数据参数：(4a)获取归一化训练数据X(t)的三个后验分布：采用非参数贝叶斯模型，对归一化训练数据X(t)中的每一个训练数据点进行描述，得到归一化训练数据X(t)的训练数据整体均值服从的后验分布、训练数据所属类别均值服从的后验分布以及训练数据协方差矩阵的逆服从的后验分布，其中,i表示第i个训练数据点，且i＝1,2,…,n，n表示数据点的个数，c表示分类类别，且c＝1,2,…,C；(4b)获取归一化训练数据X(t)的三个训练数据参数：将每一个训练数据点分别代入三个后验分布，计算归一化训练数据X(t)的训练数据整体均值训练数据所属类别均值以及训练数据协方差矩阵的逆(5)获取归一化图像训练数据X(1)和归一化文本训练数据X(2)同属于每一类的概率P(X(1),X(2)|K)：(5a)获取归一化训练数据X(t)每一个训练数据点属于第c类的概率假设归一化训练数据X(t)的所有训练数据服从高斯分布，即(x1(t),x2(t),...,xn(t))~N(Xμ(t)+Xμc(t),XΔc(t)),]]>分别计算每一个训练数据属于第c类的概率(5b)获取图像训练数据点和对应的文本训练数据点同属于第c类的概率将相乘，得到图像训练数据点和对应的文本训练数据点同属于第c类的概率其中，K表示分类类别集合，且K∈{1,2,…,C}，表示归一化训练数据X(t)的训练数据协方差矩阵；(6)获取训练数据后验概率P(K|X(1),X(2))：将概率P(X(1),X(2)|K)代入贝叶斯公式，计算训练数据后验概率P(K|X(1),X(2))；(7)获取归一化图像训练数据X(1)和归一化文本训练数据X(2)统一的r位哈希编码Btr：(7a)随机生成一个矩阵M＝[mch]C×r，其中，mch表示矩阵M中的一个元素，且mch∈(0,1)；(7b)将训练数据后验概率P(K|X(1),X(2))和矩阵M＝[mch]C×r相乘，得到归一化图像训练数据X(1)和归一化文本训练数据X(2)统一的r位哈希编码Btr的后验概率P(Btr|X(1),X(2))；(7c)对归一化图像训练数据X(1)和归一化文本训练数据X(2)统一的r位哈希编码Btr的后验概率P(Btr|X(1),X(2))中的每一个元素进行伯努利采样，得到归一化图像训练数据X(1)和归一化文本训练数据X(2)统一的r位哈希编码Btr；(8)获取归一化测试数据Y(t)的r位哈希编码(8a)获取归一化测试数据Y(t)属于每一类的概率P(Y(t)|K)：假设归一化测试数据Y(t)的所有测试数据服从高斯分布，即分别计算每一个测试数据点属于第c类的概率(8b)获取归一化测试数据后验概率P(K|Y(t))：将概率P(Y(t)|K)代入贝叶斯公式，计算得到归一化测试数据后验概率P(K|Y(t))；(8c)将归一化测试数据后验概率P(K|Y(t))和矩阵M＝[mch]C×r相乘，得到归一化测试数据Y(t)的r位哈希编码的后验概率(8d)对归一化测试数据Y(t)的r位哈希编码的后验概率中的每一个元素进行伯努利采样，得到归一化测试数据Y(t)的r位哈希编码其中，j表示第j个测试数据点，且j＝1,2,…,nte，nte表示测试数据点的个数；(9)计算归一化测试数据Y(t)的哈希编码与归一化图像训练数据X(1)和归一化文本训练数据X(2)统一的r位哈希编码Btr的汉明距离矩阵Dh；(10)获取归一化测试数据Y(t)的检索结果：分别获取汉明距离矩阵Dh中每一行最小的前a个汉明距离值，并将得到的每一行的a个汉明距离值所对应的训练数据作为归一化测试数据Y(t)的检索结果，完成基于非参数贝叶斯模型的监督跨模态哈希检索。