[发明专利]多媒体数据的特征提取方法、多媒体数据检索方法及装置

说明书

本申请公开了一种多媒体数据的特征提取方法、多媒体数据检索方法及装置，其中多媒体数据的特征提取方法通过对目标多媒体数据进行图像特征提取，得到目标多媒体数据的图像特征序列；对目标多媒体数据中的音频数据进行语音识别，并对语音识别结果进行文本特征提取，得到目标多媒体数据的文本特征序列；将图像特征序列和文本特征序列进行融合，得到融合特征序列；对融合特征序列进行自注意力计算，得到目标特征序列；根据目标特征序列确定目标多媒体数据的目标特征。该方法可以提高对多媒体数据进行特征提取的准确性。

技术领域

本申请涉及多媒体技术领域，具体涉及一种多媒体数据的特征提取方法、多媒体数据检索方法及装置。

背景技术

近年来，互联网技术发展迅速，目前人们的生活已经与互联网密不可分。伴随着互联网技术和通信技术的日趋成熟，多媒体产业也迎来了蓬勃的发展，各类视频、短视频等多媒体内容提供应用也层出不穷。

在一些情况下，例如需要进行多媒体数据去重，或者进行著作权维权的情况下，需要对多媒体数据进行检索。

相关技术中对多媒体数据的检索方法多采用特征提取和比对方法进行检索，而目前对多媒体数据的特征提取的方法提取得到的多媒体数据特征的准确性较差，导致目前多媒体数据检索方法的检索结果准确性较差。

发明内容

本申请实施例提供一种多媒体数据的特征提取方法、多媒体数据检索方法及装置，该多媒体数据的特征提取方法可以有效提升多媒体数据特征提取的准确性，进而可以提高多媒体数据检索结果的准确性。

本申请第一方面提供一种多媒体数据的特征提取方法，方法包括：

对目标多媒体数据进行图像特征提取，得到所述目标多媒体数据的图像特征序列；

对目标多媒体数据中的音频数据进行语音识别，并对语音识别结果进行文本特征提取，得到所述目标多媒体数据的文本特征序列；

将所述图像特征序列和所述文本特征序列进行融合，得到融合特征序列；

对所述融合特征序列进行自注意力计算，得到目标特征序列；

根据所述目标特征序列确定所述目标多媒体数据的目标特征。

相应的，本申请第二方面提供一种多媒体数据检索装置，装置包括：

第一提取单元，用于对目标多媒体数据进行图像特征提取，得到所述目标多媒体数据的图像特征序列；

第二提取单元，用于对目标多媒体数据中的音频数据进行语音识别，并对语音识别结果进行文本特征提取，得到所述目标多媒体数据的文本特征序列；

融合单元，用于将所述图像特征序列和所述文本特征序列进行融合，得到融合特征序列；

第一计算单元，用于对所述融合特征序列进行自注意力计算，得到目标特征序列；

第一确定单元，用于根据所述目标特征序列确定所述目标多媒体数据的目标特征。

在一些实施例中，所述融合单元，包括：

第一处理子单元，用于对所述图像特征序列进行局部池化处理，得到目标图像特征序列；

第二处理子单元，用于对所述文本特征序列进行局部池化处理，得到目标文本特征序列；

融合子单元，用于将所述目标图像特征序列和所述目标文本特征序列进行融合，得到融合特征序列。

在一些实施例中，所述融合子单元，包括：

第一获取模块，用于获取预设的类别令牌特征；

拼接模块，用于将所述类别令牌特征、所述目标图像特征序列以及所述目标文本特征序列进行拼接，得到拼接特征序列；