[发明专利]训练方法、装置、电子设备以及计算机可读存储介质

说明书

本公开涉及一种训练方法、装置、电子设备以及计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：针对每个样本视频，选取该样本视频的多帧图像，并从多帧图像分别提取图像块，将提取的图像块中的一个图像块作为查询图像块；将各个图像块输入视觉特征提取模型，得到各个图像块对应的编码，其中，查询图像块对应的编码作为查询编码；根据各个样本视频的查询编码与同一样本视频中其他图像块对应的编码之间的相似度，以及各个样本视频的查询编码与不同样本视频中图像块对应的编码之间的相似度，确定第一对比损失函数，根据视觉特征提取模型的损失函数调整视觉特征提取模型的参数，其中，视觉特征提取模型的损失函数包括第一对比损失函数。

技术领域

本公开涉及计算机技术领域，特别涉及一种训练方法、装置、电子设备以及计算机可读存储介质。

背景技术

近年来，人工智能技术迅速发展。计算机视觉是人工智能领域的一个重要分支，目前已经取得了一定成果。计算机视觉包括计算机对于图像、视频等的理解和处理。其中，视频的理解和处理复杂度更高一些。

视频的理解中提取视频的视觉特征是非常关键的部分，视觉特征提取的准确性直接关系视频的理解以及下游任务(例如，动作识别、对象跟踪)的结果的准确性。视觉特征的提取可以采用深度学习方法。深度学习包括有监督学习、无监督学习等。目前，监督学习已取得重大进展，并且在视频的视觉特征学习中占主导地位。

发明内容

发明人发现：有监督学习的结果在很大程度上取决于需要大量的专业标注来训练深度神经网络。标注的过程是复杂繁琐的。此外，针对非常具体的任务进行有监督的学习，得到的视觉特征提取模型难以适用于其他任务，存在泛化问题。

本公开所要解决的一个技术问题是：提出一种新的无监督的视觉特征提取模型的训练方法。

根据本公开的一些实施例，提供的一种训练方法，包括：针对每个样本视频，选取该样本视频的多帧图像，并从多帧图像分别提取图像块，将提取的图像块中的一个图像块作为查询图像块；将各个图像块输入视觉特征提取模型，得到各个图像块对应的编码，其中，查询图像块对应的编码作为查询编码；根据各个样本视频的查询编码与同一样本视频中其他图像块对应的编码之间的相似度，以及各个样本视频的查询编码与不同样本视频中图像块对应的编码之间的相似度，确定第一对比损失函数，其中，查询编码与同一样本视频中其他图像块对应的编码之间的相似度越高，查询编码与不同样本视频中图像块对应的编码之间的相似度越低，第一对比函数的值越小；根据视觉特征提取模型的损失函数调整视觉特征提取模型的参数，对视觉特征提取模型进行训练，其中，视觉特征提取模型的损失函数包括第一对比损失函数。

在一些实施例中，查询图像块所在的帧作为锚定帧，提取的图像块中还包括从锚定帧中提取的与查询图像块不同的另一图像块，作为第一键值图像块，方法还包括：根据各个样本视频的查询编码与第一键值图像块对应的编码之间的相似度，以及查询编码与同一样本视频中其他帧提取的图像块对应的编码之间的相似度，确定第二对比损失函数，其中，查询编码与第一键值图像块对应的编码之间的相似度越高，查询编码与同一样本视频中其他帧提取的图像块对应的编码之间的相似度越低，第二对比损失函数的值越小；其中，视觉特征提取模型的损失函数还包括第二对比损失函数。

在一些实施例中，查询图像块所在的帧作为锚定帧，锚定帧为多帧图像中按时间顺序排列的第一帧或最后一帧，方法还包括：针对每个样本视频，按照预设顺序将查询编码与同一样本视频中其他帧提取的图像块对应的编码组合成序列编码；将序列编码输入分类模型，得到查询图像块与同一样本视频中其他帧提取的图像块在该样本视频中的预测时间顺序；根据各个样本视频对应的预测时间顺序，以及查询图像块与同一样本视频中其他帧提取的图像块在该样本视频中真实时间顺序，确定第三损失函数；其中，视觉特征提取模型的损失函数还包括第三对比损失函数。