[发明专利]一种深度监督与特征融合的细粒度跨媒体检索方法

说明书

本发明涉及深度学习技术领域，公开了一种深度监督与特征融合的细粒度跨媒体检索方法，包括：步骤S1.将图像数据、视频数据、文本数据和音频数据分别输入到媒体专用网络中，将四种媒体数据子网络最后一层的全连接层进行权值共享，提取对应的原始特征；步骤S2.将原始特征利用语义信息和标签信息输入进公共空间，同时媒体数据四种子网络分别连接线性分类器，根据线性分类器内的标签信息对提取到的媒体数据的原始特征进行分类；步骤S3.预设三元组损失约束条件、分类损失约束条件和判别损失约束条件上，对公共空间内媒体数据的分类特征进行度量。本发明用于在标签空间和公共的特征表示空间内最大程度地减小判别损失并学习各媒体特征的相似性。

技术领域

本发明涉及深度学习技术领域，具体地说，是一种深度监督与特征融合的细粒度跨媒体检索方法，用于在标签空间和公共的特征表示空间内最大程度地减小判别损失并学习各媒体特征的相似性。

背景技术

近年来，随着多媒体数据的快速增长，丰富多元的数据充斥着人们的生活，图像、文本、音频和视频等多媒体数据已经成为了人们认识世界的主要方式。海量的多媒体数据之间的相关性在不断提高，同时用户对多媒体数据的检索需求也变得非常灵活，不仅需要满足于单一类型数据的检索，还需要能够从海量的数据中快速精准地检索出自己感兴趣的数据。因此，细粒度跨媒体检索的研究应用广泛，在信息检索方面，丰富了用户获取信息的多样性，同时提高了用户获取信息的效率。在模式识别、人机交互方面，使人和机器之间交流和互动更加的方便和快捷。在教育、医学航空等领域，机器可以通过跨媒体检索去教授人学习不同细粒度物体的图像音频等特征。

现有的传统方法往往是通过标签信息学习媒体间和媒体内的关系，从而进行细粒度跨媒体检索。现有的方式所存在的缺陷是：

1.媒体鸿沟问题，即不同媒体类型的数据样本的特征表示差别巨大，因此直接度量它们之间的相似性是一个非常困难的问题。

2.语义鸿沟问题，计算机的特征表示与人们理解的不一致的问题，从而导致低层特征和高层语义之间的差异。

3.细粒度级别导致的类间差异小（不同的细粒度类别间很相似）、类内差异大（同一类别的物体又因为姿势光照等差异明显）的问题。这些缺陷会导致跨媒体检索的性能不高。

因此，亟需一种方法，能够解决上述问题，同时，在保留不同语义类别样本差异性的同时消除媒体鸿沟；构建出四种媒体数据公共的特征表示空间，并在标签空间和公共的特征表示空间内最大程度地减小判别损失并学习各媒体特征的相似性；此外还将标签特征和语义特征相结合来进行相似性度量，并通过方差分配特征对应的权重值。进一步提升了跨媒体检索的性能，具有很好的参照性和实用性。

发明内容

本发明的目的在于提供一种深度监督与特征融合的细粒度跨媒体检索方法，实现在标签空间和公共的特征表示空间内最大程度地减小判别损失并学习各媒体特征的相似性的效果。

本发明通过下述技术方案实现：一种深度监督与特征融合的细粒度跨媒体检索方法，包括以下步骤：

步骤S1.将图像数据、视频数据、文本数据和音频数据分别输入到媒体专用网络中，将四种媒体数据子网络最后一层的全连接层进行权值共享，提取对应的原始特征；

步骤S2.将原始特征利用语义信息和标签信息输入进公共空间，同时媒体数据四种子网络分别连接线性分类器，根据线性分类器内的标签信息对提取到的媒体数据的原始特征进行分类；

步骤S3.预设三元组损失约束条件、分类损失约束条件和判别损失约束条件上，对公共空间内媒体数据的分类特征进行度量。