[发明专利]基于细粒度跨媒体检索构造实体级公共特征空间的方法

说明书

本发明涉及细粒度跨媒体检索技术领域，公开了一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，包括：获取视频数据，预设噪声帧滤除规则，根据噪声帧滤除规则对获取到的视频数据进行过滤，获取不包含细粒度实体的帧图像；获取媒体数据类型的低层特征，对低层特征进行线性投影，获取实体级公共特征空间；根据实体级公共特征空间提取高层次语义并进行学习。本发明可以学习低层特征到实体级公共特征空间的投影矩阵，并生成跨媒体数据的公共特征以进行跨媒体检索。

技术领域

本发明涉及细粒度跨媒体检索技术领域，具体地说，是一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，可以学习低层特征到实体级公共特征空间的投影矩阵，并生成跨媒体数据的公共特征以进行跨媒体检索。

背景技术

细粒度跨媒体检索任务中有一个难点便是如何减少不同媒体数据间的异质性差距，最常用的方法便是寻找某种映射函数，将不同媒体类型的样本映射到共同特征空间中，并根据输入数据在此空间中的特征与数据库中候选对象的相似性排序来生成检索结果。然而，这样的公共特征空间却存在某种缺陷。通常在此空间中的特征没有明确的含义（即不知道此特征代表什么），导致最终可能会忽略媒体数据中包含的原有语义信息。还有一些算法提出的公共语义空间只是简单地利用了低层次特征和高层语义特征之间的关系，一般低层次特征由卷积神经网络提取，高层次特征是以低层次特征为基础在语义类别标签的约束下抽象出来的语义，而这样只能提取粗粒度的特征。

众所周知，实体和实体可以相互区分。在文本中，实体即物体名、物种名、地名、时间等，而在图像中就是一个个体。几乎每一种媒体数据里面都存在实体的概念，并且相应的实体存在于对应的高层特征中。另外，由于实体的客观存在性，具有相似语义的多种媒体数据也包含相同的实体，因此它们可以拓展到其他的媒体域中。鉴于实体的可区分性、相关性和扩展性，本发明采用基于实体级公共特征空间的方法来解决细粒度跨媒体检索的任务，将实体作为低层特征和高层语义特征的中间衔接桥梁。

为了解决上述问题，亟需一种新的细粒度跨媒体检索的方法，可以学习低层特征到实体级公共特征空间的投影矩阵，并生成跨媒体数据的公共特征表示形式以进行跨媒体检索。

发明内容

本发明的目的在于提供一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，可以学习低层特征到实体级公共特征空间的投影矩阵，并生成跨媒体数据的公共特征表示形式以进行跨媒体检索。

本发明通过下述技术方案实现：一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，包括： 步骤S1.获取视频数据，判断输入的媒体类型是否为视频数据，如果是，进入步骤S2，如果否，获取类型为音频数据、图像数据和文本数据的媒体类型数据后进入步骤S3；

步骤S2.预设噪声帧滤除规则，根据噪声帧滤除规则对获取到的视频数据进行过滤，获取不包含细粒度实体的帧图像；

步骤S3.获取媒体数据类型的低层特征，对低层特征进行线性投影，获取实体级公共特征空间；

步骤S4.根据实体级公共特征空间提取高层次语义并进行学习。

预设同类样本的相关性约束条件和单媒体的实体构造约束条件，上述步骤S1-步骤S4遵循所述约束条件。