[发明专利]多媒体数据的特征提取方法、多媒体数据检索方法及装置

权利要求书

1.一种多媒体数据的特征提取方法，其特征在于，所述方法包括：

对目标多媒体数据进行图像特征提取，得到所述目标多媒体数据的图像特征序列；

对目标多媒体数据中的音频数据进行语音识别，并对语音识别结果进行文本特征提取，得到所述目标多媒体数据的文本特征序列；

将所述图像特征序列和所述文本特征序列进行融合，得到融合特征序列；

对所述融合特征序列进行自注意力计算，得到目标特征序列；

根据所述目标特征序列确定所述目标多媒体数据的目标特征。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像特征序列和所述文本特征序列进行融合，得到融合特征序列，包括：

对所述图像特征序列进行局部池化处理，得到目标图像特征序列；

对所述文本特征序列进行局部池化处理，得到目标文本特征序列；

将所述目标图像特征序列和所述目标文本特征序列进行融合，得到融合特征序列。

3.根据权利要求2所述的方法，其特征在于，所述将所述目标图像特征序列和所述目标文本特征序列进行融合，得到融合特征序列，包括：

获取预设的类别令牌特征；

将所述类别令牌特征、所述目标图像特征序列以及所述目标文本特征序列进行拼接，得到拼接特征序列；

获取所述拼接特征序列对应的位置编码序列以及维度编码序列；

对所述拼接特征序列、所述位置编码序列以及所述维度编码序列进行融合，得到融合特征序列。

4.根据权利要求3所述的方法，其特征在于，所述对所述融合特征序列进行自注意力计算，得到目标特征序列，包括：

将所述融合特征序列映射到查询特征、键特征以及值特征的空间中，得到查询特征序列、键特征序列以及值特征序列，并计算所述查询特征序列与所述键特征序列的相关性矩阵；

确定所述融合特征序列中与所述类别令牌特征对应的类别融合特征、与所述目标图像特征序列对应的图像融合特征序列以及与所述目标文本特征序列对应的文本融合特征序列；

基于所述类别融合特征与所述融合特征序列中每一特征的交互结果、所述图像融合特征序列中每一特征与所述文本融合特征序列中每一特征之间的交互结果以及所述相关性矩阵计算自注意力权重矩阵；

基于所述自注意力权重矩阵对所述值特征序列进行加权处理，得到目标特征序列。

5.根据权利要求2所述的方法，其特征在于，所述对所述图像特征序列进行局部池化处理，得到目标图像特征序列，包括：

将所述图像特征序列中的图像特征按照图像采样顺序划分为多个子图像特征序列；

对每个子图像特征序列进行平均池化处理，得到多个第一平均池化特征，所述多个第一平均池化特征构成目标图像特征序列。

6.根据权利要求2所述的方法，其特征在于，所述对所述文本特征序列进行局部池化处理，得到目标文本特征序列，包括：

获取所述语音识别结果中的目标标点信息；

根据所述目标标点信息将所述文本特征序列划分为多个子文本特征序列；

对每个子文本特征序列进行平均池化处理，得到多个第二平均池化特征，所述多个第二平均池化特征构成目标文本特征序列。

7.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征序列确定所述目标多媒体数据的目标特征，包括：

从所述目标特征序列中提取出所述类别令牌特征对应的目标类别令牌特征序列；

对所述目标类别令牌特征序列进行第一次残差连接和归一化处理，得到第一过渡特征；

采用预设的前馈神经网络对所述第一过渡特征进行处理，得到第二过渡特征；

对所述第二过渡特征进行第二次残差连接和归一化处理，得到目标多媒体数据的目标特征。

8.根据权利要求1所述的方法，其特征在于，所述对所述融合特征序列进行自注意力计算，得到目标特征序列，包括：

对所述融合特征序列进行至少一次自注意力计算，得到至少一个子目标特征序列；

对所述至少一个子目标特征序列进行拼接，得到目标特征序列。