[发明专利]一种基于深层模型的跨模态检索方法

说明书

技术领域

本发明涉及多媒体检索技术,特别是一种基于深层模型的跨模态检索方法。

背景技术

近些年互联网的发展使得多模态的数据呈现爆炸式增长。例如，电子商务网站上的产品通常包含主干文字、简短的文本描述、以及相关的图片；社交网站上分享的图片通常伴有标记的描述词；一些在线新闻上包含的图片和视频信息比单纯的文字报道更具有吸引力，多模态数据的快速增长带来了巨大的跨模态检索需求。

与传统的单模态检索不同，跨模态检索更多关注不同模态间的关系。因此，跨模态检索问题包含两个挑战问题：一是来自不同模态的数据具有完全不同的统计特性，这使得很难直接获得不同模态数据的关联关系；二是从不同模态数据中抽取的特征通常具有高维的特性并且数据集的规模非常大，这使得高效的检索不容易实现。

发明内容

有鉴于此，本发明提供了一种基于深层模型的跨模态检索方法，应用深层模型解决跨模态数据的处理问题，使得经深层模型处理后的跨模态数据能够高效的进行距离计算，从而得到较优的检索结果。本发明提出的技术方案是：

一种基于深层模型的跨模态检索方法，该方法包括：

利用特征提取方法分别获得目标检索模态与检索库中每一个被检索模态的低级表达向量；

所述目标检索模态的低级表达向量分别与所述检索库中每一个被检索模态的低级表达向量，通过堆叠对应的受限波尔兹曼机Corr-RBMs深层模型获得所述目标检索模态的高级表达向量和所述检索库中每一个被检索模态的高级表达向量；

利用所述目标检索模态的高级表达向量和所述检索库中每一个被检索模态的高级表达向量计算所述目标检索模态与所述检索库中每一个被检索模态的距离；

将所述检索库中与所述目标检索模态距离最近的至少一个被检索模态确定为与所述目标检索模态匹配的对象。

综上所述，本发明技术方案提出了一种基于深层模型的跨模态检索方法，对于跨模态原始数据进行特征提取获得的低级表达，通过堆叠对应的受限波尔兹曼机(Corr-RBM，Correspondence Restricted Boltzmann Machine)的Corr-RBMs深层模型的处理，得到跨模态数据在相同表示空间中的低维高级表达，进而对跨模态数据的低维高级表达进行距离计算，根据距离确定检索结果。

附图说明

图1为本发明技术方案的流程图；

图2为本发明Corr-RBMs深层模型神经网络结构图；

图3为本发明Corr-RBM模型神经网络结构图；

图4为受限波尔兹曼机RBM模型的结构图；

图5为根据目标函数F确定Θ的方法流程图；

图6为本发明实施例的流程图。

具体实施方式

为解决跨模态间的检索问题，本发明提出一种基于Corr-RBMs深层模型的跨模态检索方法，本发明技术方案的流程图如图1所示，包括以下步骤：

步骤101：利用特征提取方法分别获得目标检索模态与检索库中任一被检索模态的低级表达向量。

本步骤中，为在检索库中检索与目标检索模态匹配的对象，首先需要对目标检索模态和检索库中任一被检索模态的低级表达向量，特征提取方法获得的低级表达向量一般维数较高，且不同模态的低级表达向量元素各异，一般不能直接用于检索运算。

步骤102：目标检索模态的低级表达向量分别与检索库中每一个被检索模态的低级表达向量，通过堆叠对应的受限波尔兹曼机Corr-RBMs深层模型获得目标检索模态的高级表达向量和检索库中每一个被检索模态的高级表达向量。

本步骤中，将目标检索模态的低级表达向量分别与检索库中每一个被检索模态的低级表达向量作为一个组合，通过堆叠对应的受限波尔兹曼机Corr-RBMs深层模型获得目标检索模态的高级表达向量和检索库中每一个被检索模态的高级表达向量。通过Corr-RBMs深层模型得到的目标检索模态的高级表达向量和检索库中每一个被检索模态的高级表达向量具有低维、空间元素一致等特点，能够高效的进行检索运算。

步骤103：利用目标检索模态的高级表达向量和检索库中每一个被检索模态的高级表达向量计算目标检索模态与检索库中任一被检索模态的距离。

具体地，可以用欧氏距离表示目标检索模态与检索库中每一个被检索模态的距离。

步骤104：将检索库中与目标检索模态距离最近的至少一个被检索模态确定为与目标检索模态匹配的对象。