[发明专利]一种基于神经网络的跨媒体哈希索引方法

权利要求书

1.一种基于神经网络的跨媒体哈希索引方法，其特征在于包括如下步骤：

1)设计基于神经网络的哈希函数的网络结构；

2)对每种模态的神经网络进行逐层预训练；

3)将不同模态的神经网络融合成一个新的网络，设计模态间和模态内数据的损失函数，基于损失函数来通过反向传播方式对整个网络参数进行微调；

4)去掉网络的输出层，将哈希编码层的输出结构作为哈希函数的输出，以支持跨模态的快速检索。

2.根据权利要求1所述的一种基于神经网络的跨媒体哈希索引方法，其特征在于所述的步骤1)包括：

对于得到的包含多模态类型数据的多媒体文档集合，构建分别属于每个模态类型的数据集；假设构成多媒体文档的数据来自两个模态：数据集X=[x1,x2,...,xn]∈Rdx×n,]]>Y=[y1,y2,...,yny]∈Rdy×n]]>分别为两个模态数据的矩阵表示，其中d_x和d_y对应两个模态数据的维度，通常d_x≠d_y；n是数据集X和Y中所包含数据的个数；此外，T＝[t₁，t₂…，t_n]∈R^c×n为数据集X和Y对应的类别标签矩阵，每一个t_i∈R^C为两种模态数据点对x_i和y_i所对应的类别标签向量，t_ij＝1表示x_i和y_i均属于第j个类别，c为所有类别的个数；

神经网络结构由两个子神经网络组成，记作NN^x和NN^y，对应分别对X和Y中数据的逐层学习，每个子神经网络NN^x或NN^y有L层，包含一个输入层、一个输出层、一个哈希编码层以及剩下的L-3哈希函数层。对任意x∈X(y∈Y同理)，将数据x沿着它对应模态的神经子网络NN^x进行正向传播，第l层的表达x^(l)通过一组非线性变换后可得到l+1层的表达x^(l+1)，这一非线性变换如公式(1)所示

x^(l+1)-f^(l)(W^(l)x^(l))    (1)

其中W^(l)为投影矩阵，f^(l)(·)为非线性激活函数，在第一层到第L-2层，使用的非线性变换函数是sigmoid函数，在第L-1层使用非线性变换函数是softmax函数；

哈希函数H^x是子神经网络NN_x的一部分，H^x将x为输入，将输入x通过正向传播到第L-1层，输出x的k维哈希编码：

H^x(x)＝sign(x^(L-1))   (2)

其中x^(L-1)∈R^k为x在子神经网络第L-1层上的输出，sign(·)为将实数x^(L-1)转换为二值哈希编码的函数；

对于另外一个模态数据所对应的哈希函数H^y，采用相同的方法得到。

3.根据权利要求1所述的一种基于神经网络的跨媒体哈希索引方法，其特征在于所述的步骤3)包括：

分别在哈希编码层和输出层设计如下两个损失函数，将两个网络NN_x和NN_y融合，实现对不同模态数据的统一表达，

保持模态间数据对应性的损失函数：对于存在对应关系的来自不同模态数据，这一损失函数将保证其在哈希编码层编码尽可能相似或一致。由于难以对二值哈希编码进行求导，因此在求解中先去掉二值函数sign(·)，直接将实数值作为数据在哈希编码层的表达，基于这一分析，在公式(3)中定义了损失函数

其中x^(L-1)，y^(L-1)分别为来自不同模态、存在对应关系的一对数据x，y在哈希编码层上的表达；

保持模态内数据鉴别性的损失函数：对于来自同一模态的数据，如果它们具有相同的类别标签，则应该保证这些具有相同类别标签的数据在神经网络输出层的表达尽可能相似或一致，基于这一分析，在公式(4)中定义损失函数

其中x，y为来自不同模态、存在对应关系的一对数据，x^(L)，y^(L)分别为它们在输出层上的表达，t为它们对应的类别标签，KL(·)为KL-散度函数，用于衡量数据在输出层表达和类别标签的一致性；

将两个损失函数结合起来，对数据集X和Y内所有数据形成了如公式(5)的整体损失函数：

其中λ为平衡两个损失项的参数；

通过最小化公式(5)中所定义的损失函数，并采用经典的反向传播算法，对整个网络中参数进行微调，直到整个神经网络收敛或达到最大迭代次数。