[发明专利]一种基于神经网络的跨媒体哈希索引方法

说明书

技术领域

本发明涉及跨媒体检索，尤其涉及一种基于海量数据的跨媒体高效索引方法。

背景技术

互联网技术的高速发展和社交网络的风靡，使得互联网上的多模态数据的数量在以惊人的速度增长。举例来说，用户向社交网络上传图片时一般同时会对图片添加一些描述性文本。因此，如何利用不同模态数据之间关联关系来实现跨模态(也称作跨媒体)检索是一个非常有意义的研究问题。由于网络上多模态数据的数据量非常庞大，通过哈希索引技术来提高跨媒体检索性能是最近研究热点。

已有的跨媒体哈希算法大多基于流形学习、字典学习或生成概率图模型。它们的目标在于通过使用学习得到的哈希函数将不同模态数据映射到同一个子空间内，同时保持数据在模态内相似性和模态间关联关系。本发明提出了一种基于神经网络的跨媒体哈希算法，使得得到的哈希索引不仅保持模态间数据关联性，也具有模态内数据鉴别性。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于神经网络的跨媒体哈希哈希索引的方法。

一种基于神经网络的跨媒体哈希索引方法包括如下步骤：

1)设计基于神经网络的哈希函数的网络结构；

2)对每种模态的神经网络进行逐层预训练；

3)将不同模态的神经网络融合成一个新的网络，设计模态间和模态内数据的损失函数，基于损失函数来通过反向传播方式对整个网络参数进行微调；

4)去掉网络的输出层，将哈希编码层的输出结构作为哈希函数的输出，以支持跨模态的快速检索。

所述的步骤1)包括：

对于得到的包含多模态类型数据的多媒体文档集合，构建分别属于每个模态类型的数据集；假设构成多媒体文档的数据来自两个模态：数据集X=[x1,x2,...,xn]∈Rdx×n,Y=[y1,y2,...,yny]∈Rdy×n]]>分别为两个模态数据的矩阵表示,其中dx和d_y对应两个模态数据的维度，通常d_x≠d_y；n是数据集X和Y中所包含数据的个数；此外，T＝[t₁，t₂，...，t_n]∈R^c×n为数据集X和Y对应的类别标签矩阵，每一个t_i∈R^c为两种模态数据点对x_i和y_i所对应的类别标签向量，t_ij＝1表示x_i和y_i均属于第j个类别，c为所有类别的个数；