[发明专利]基于细粒度跨媒体检索构造实体级公共特征空间的方法

权利要求书

1.一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，其特征在于，包括：

步骤S1.获取视频数据，判断输入的媒体类型是否为视频数据，如果是，进入步骤S2，如果否，获取类型为音频数据、图像数据和文本数据的媒体类型数据后进入步骤S3；

步骤S2.预设噪声帧滤除规则，根据噪声帧滤除规则对获取到的视频数据进行过滤，获取不包含细粒度实体的帧图像；

步骤S3.获取媒体数据类型的低层特征，对低层特征进行线性投影，获取实体级公共特征空间；

生成实体级公共特征空间包括：通过实体标签、同类样本的相关性约束条件、单媒体的实体构造约束条件以及媒体判别器和生成器的对抗训练进行线性投影生成实体级公共特征空间； 所述单媒体的实体构造约束条件包括：将文本提取出的文本实体特征与过滤后的视频数据、音频数据和图像数据的特征相关联；

步骤S4.根据实体级公共特征空间提取高层次语义并进行学习；

预设同类样本的相关性约束条件和单媒体的实体构造约束条件，上述步骤S3-步骤S4遵循所述约束条件。

2.根据权利要求1所述的基于细粒度跨媒体检索构造实体级公共特征空间的方法，其特征在于，所述步骤S2中包括： 步骤S2.1.以相同时间间隔截取每个视频数据中的视频帧，获取原始关键帧； 步骤S2.2.根据特征提取网络获取视频帧的特征； 步骤S2.3.通过计算视频帧之间的距离确定中心帧；

步骤S2.4.预设阈值，确定好中心帧和阈值之后，判断每一帧到中心帧的距离是否大于阈值，如果是，丢弃当前帧，如果否，保留位有效帧；

步骤S2.5.当中心帧不再发生变化时，获取不包含细粒度实体的有效帧的图像。

3.根据权利要求1所述的一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，其特征在于，所述步骤S3中的低层特征包括： 根据卷积神经网络提取过滤后的视频数据、音频数据和图像数据的特征； 根据实体提取器提取文本数据中的实体，获取文本实体特征，并生成对应的文本实体标签； 根据过滤后的视频数据、音频数据、图像数据的特征和文本实体特征生成低层特征。

4.根据权利要求1所述的一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，其特征在于，所述步骤S4包括：

使用语义类别标签进行实体级语义抽象，基于统一的语义表示，计算不同媒体类型的媒体数据之间的相似性，并进行跨媒体检索。

5.根据权利要求1所述的一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，其特征在于，所述同类样本的相关性约束条件包括： 将具有正相关性的媒体数据之间基于距离最小化规则进行操作，将具有负相关性的媒体数据之间基于距离最大化规则进行操作。