[发明专利]模型训练方法、装置、多媒体推荐方法、设备及存储介质

权利要求书

1.一种多媒体特征提取模型的训练方法，其特征在于，包括：

从多个多媒体中确定多个训练样本，每个训练样本包括锚点多媒体、第一多媒体以及第二多媒体；所述锚点多媒体为所述多个多媒体中的任一个；所述第一多媒体对应的第一对象集合与所述锚点多媒体对应的锚点对象集合相交；第二多媒体对应的第二对象集合与所述锚点对象集合不相交；

对所述多个训练样本进行排序处理，得到目标样本矩阵；

将所述目标样本矩阵输入预设多媒体特征提取模型，进行特征提取处理，得到多媒体特征矩阵，所述多媒体特征矩阵的行数和所述目标样本矩阵的行数相同；

根据所述多媒体特征矩阵，确定三重态损失信息；

基于所述三重态损失信息训练所述预设多媒体特征提取模型，直至满足预设条件，得到目标多媒体特征提取模型。

2.根据权利要求1所述的多媒体特征提取模型的训练方法，其特征在于，所述根据所述多媒体特征矩阵，确定三重态损失信息包括：

对所述多媒体特征矩阵中的多媒体特征，进行分组处理，得到目标特征矩阵，所述目标特征矩阵为所述多个训练样本各自对应的样本特征，每个样本特征为所述锚点多媒体、所述第一多媒体和所述第二多媒体各自对应的所述多媒体特征；

根据所述目标特征矩阵的多个所述样本特征，确定所述三重态损失信息。

3.根据权利要求2所述的多媒体特征提取模型的训练方法，其特征在于，所述对所述多个训练样本进行排序处理，得到目标样本矩阵包括：

对所述多个训练样本进行样本间排列处理，得到参考样本矩阵，所述参考样本矩阵的多个行信息分别对应于所述多个训练样本；

对所述参考样本矩阵进行样本行列转换处理，得到所述目标样本矩阵，所述目标样本矩阵的行数为一行。

4.根据权利要求3所述的多媒体特征提取模型的训练方法，其特征在于，所述对所述多媒体特征矩阵中的多媒体特征，进行分组处理，得到目标特征矩阵包括：

基于所述多个训练样本，对所述多媒体特征矩阵进行特征行列转换处理，得到所述目标特征矩阵，所述特征行列转换处理是所述样本行列转换处理的逆转换处理，所述目标特征矩阵的行数为所述多个训练样本的数量。

5.根据权利要求1所述的多媒体特征提取模型的训练方法，其特征在于，所述预设多媒体特征提取模型包括编码模型、融合模型和分割模型；

所述将所述目标样本矩阵输入所述预设多媒体特征提取模型，进行特征提取处理，得到多媒体特征矩阵包括：

将所述目标样本矩阵输入至所述编码模型，对所述目标样本矩阵进行编码处理，得到单模态特征矩阵；

将所述单模态特征矩阵输入至所述融合模型，对所述单模态特征矩阵进行融合处理，得到融合模态特征矩阵；

将所述融合模态特征矩阵输入至所述分割模型，对所述融合模态特征矩阵的各融合模态特征进行分割处理，得到所述多媒体特征矩阵。

6.根据权利要求5所述的多媒体特征提取模型的训练方法，其特征在于，所述方法还包括：

根据所述单模态特征矩阵，确定单模态损失信息；

根据所述融合模态特征矩阵，确定参考损失信息，所述参考损失信息包括交叉熵损失信息和对比损失信息中的一种或多种；

所述基于所述三重态损失信息训练所述预设多媒体特征提取模型，直至满足预设条件，得到目标多媒体特征提取模型包括：

基于所述三重态损失信息和目标损失信息，训练所述预设多媒体特征提取模型，直至满足所述预设条件，得到所述目标多媒体特征提取模型，所述目标损失信息包括所述单模态损失信息和所述参考损失信息中的一种或多种。