[发明专利]训练方法、装置、电子设备以及计算机可读存储介质

权利要求书

1.一种训练方法，包括：

针对每个样本视频，选取该样本视频的多帧图像，并从所述多帧图像分别提取图像块，将提取的图像块中的一个图像块作为查询图像块；

将各个图像块输入视觉特征提取模型，得到各个图像块对应的编码，其中，所述查询图像块对应的编码作为查询编码；

根据各个样本视频的所述查询编码与同一样本视频中其他图像块对应的编码之间的相似度，以及各个样本视频的所述查询编码与不同样本视频中图像块对应的编码之间的相似度，确定第一对比损失函数，其中，所述查询编码与同一样本视频中其他图像块对应的编码之间的相似度越高，所述查询编码与不同样本视频中图像块对应的编码之间的相似度越低，所述第一对比函数的值越小；

根据所述视觉特征提取模型的损失函数调整所述视觉特征提取模型的参数，对所述视觉特征提取模型进行训练，其中，所述视觉特征提取模型的损失函数包括所述第一对比损失函数。

2.根据权利要求1所述的训练方法，其中，所述查询图像块所在的帧作为锚定帧，所述提取的图像块中还包括从所述锚定帧中提取的与所述查询图像块不同的另一图像块，作为第一键值图像块，所述方法还包括：

根据各个样本视频的所述查询编码与所述第一键值图像块对应的编码之间的相似度，以及所述查询编码与同一样本视频中其他帧提取的图像块对应的编码之间的相似度，确定第二对比损失函数，其中，所述查询编码与所述第一键值图像块对应的编码之间的相似度越高，所述查询编码与同一样本视频中其他帧提取的图像块对应的编码之间的相似度越低，所述第二对比损失函数的值越小；

其中，所述视觉特征提取模型的损失函数还包括第二对比损失函数。

3.根据权利要求1或2所述的训练方法，其中，所述查询图像块所在的帧作为锚定帧，所述锚定帧为所述多帧图像中按时间顺序排列的第一帧或最后一帧，所述方法还包括：

针对每个样本视频，按照预设顺序将所述查询编码与同一样本视频中其他帧提取的图像块对应的编码组合成序列编码；

将所述序列编码输入分类模型，得到所述查询图像块与同一样本视频中其他帧提取的图像块在该样本视频中的预测时间顺序；

根据各个样本视频对应的所述预测时间顺序，以及所述查询图像块与同一样本视频中其他帧提取的图像块在该样本视频中真实时间顺序，确定第三损失函数；

其中，所述视觉特征提取模型的损失函数还包括第三对比损失函数。

4.根据权利要求1所述的训练方法，其中，所述视觉特征提取模型包括查询编码器和键值编码器，所述查询编码器用于获得所述查询编码，所述键值编码器用于获得所述查询图像块之外的其他图像块对应的编码；

所述根据所述视觉特征提取模型的损失函数调整所述视觉特征提取模型的参数包括：

每次迭代中，根据所述视觉特征提取模型的损失函数调整所述查询编码器的本次迭代的参数，根据所述查询编码器的上一次迭代的参数和所述键值编码器上一次迭代的参数调整所述键值编码器本次迭代的参数。

5.根据权利要求1所述的训练方法，其中，所述查询图像块所在的帧作为锚定帧，所述提取的图像块中还包括从所述锚定帧中提取的与所述查询图像块不同的另一图像块，作为第一键值图像块，从同一样本视频的两个其他帧中分别提取一个图像块，作为第二键值图像块和第三键值图像块；

所述根据各个样本视频的所述查询编码与同一样本视频中其他图像块对应的编码之间的相似度，以及各个样本视频的所述查询编码与不同样本视频中图像块对应的编码之间的相似度，确定第一对比损失函数包括：

针对每个样本视频，根据所述查询编码分别与第一键值图像块对应第一键值编码、第二键值图像块对应的第二键值编码和第三键值图像块对应的第三键值编码的相似度，以及所述查询编码分别与各个负键值编码的相似度，确定该样本视频对应的帧间损失函数，其中，所述各个负键值编码包括其他样本视频对应的第一键值编码、第二键值编码和第三键值编码；

根据各个样本视频对应的帧间损失函数，确定第一对比损失函数。