[发明专利]用于生成预训练模型的方法、模型训练方法及装置

权利要求书

1.一种用于生成预训练模型的方法，包括：

获取视频集合；

基于所述视频集合中第一视频的第一视频帧的图像特征，确定第一样本视频帧集合；

基于所述视频集合中除所述第一视频之外的其他第二视频，确定第二样本视频帧集合；

基于所述第一样本视频帧集合和所述第二样本视频帧集合中的视频间差异信息以及视频内差异信息，对待训练模型进行训练包括：基于所述第一样本视频帧集合和所述第二样本视频帧集合之间的所述视频间差异信息以及预设的第一损失函数，确定第一损失信息；

基于所述第一样本视频帧集合中各视频帧之间的所述视频内差异信息、以及预设的第二损失函数，确定第二损失信息，所述第一损失函数与所述第二损失函数均为对比学习场景下的损失函数；

基于所述第一损失信息和所述第二损失信息，对所述待训练模型进行训练；

所述基于所述第一样本视频帧集合和所述第二样本视频帧集合之间的所述视频间差异信息以及预设的第一损失函数，确定第一损失信息包括：将所述第一样本视频帧集合中的第一样本视频帧两两组合得到正样本对，以及所述第二样本视频帧集合中的第二样本视频帧，代入所述第一损失函数，得到所述第一损失信息。

2.根据权利要求1所述的方法，其中，所述基于所述视频集合中第一视频的第一视频帧的图像特征，确定第一样本视频帧集合，包括：

基于所述图像特征，确定相邻的所述第一视频帧之间的图像差异参数；

基于所述图像差异参数，将所述第一视频划分为视频片段；

确定各所述视频片段对应的第二视频帧；

基于所述第二视频帧，确定所述第一样本视频帧集合。

3.根据权利要求2所述的方法，其中，所述图像差异参数包括方向梯度直方图特征值之间的差值的绝对值；以及

所述基于所述图像差异参数，将所述第一视频划分为视频片段，包括：

响应于确定所述第一视频中目标相邻帧之间的所述绝对值大于预设的阈值，基于所述目标相邻帧确定视频分割点；

基于所述视频分割点，将所述第一视频划分为所述视频片段。

4.根据权利要求1所述的方法，还包括：

基于所述第一样本视频帧集合，生成第一正样本信息；

基于所述第二样本视频帧集合，生成第一负样本信息；

基于所述第一正样本信息和所述第一负样本信息，生成所述视频间差异信息。

5.根据权利要求1所述的方法，还包括：

获取所述第一样本视频帧集合中的至少一个第三视频帧的相似视频帧；

基于所述第三视频帧和所述相似视频帧，生成第二正样本信息；

基于所述第一样本视频帧集合中除所述第三视频帧之外的其他第四视频帧，生成第二负样本信息；

基于所述第二正样本信息和所述第二负样本信息，生成所述视频内差异信息。

6.一种训练模型的方法，包括：

获取基于权利要求1至5任一项所述的用于生成预训练模型的方法得到的预训练模型；

对所述预训练模型添加全连接层，得到初始行为识别模型；

基于预设的视频样本以及视频行为标注信息，对所述初始行为识别模型进行训练，得到训练完成的行为识别模型。

7.一种行为识别方法，包括：

获取待识别视频；

基于所述待识别视频和权利要求6所述的训练模型的方法训练得到的行为识别模型，确定与所述待识别视频对应的行为识别结果。

8.一种针对视频检索结果的评估方法，包括：

获取针对目标视频特征的视频检索结果；

基于所述视频检索结果和权利要求1至5任一项所述的用于生成预训练模型的方法得到的预训练模型，确定所述视频检索结果对应的检索视频特征；

基于所述目标视频特征与所述检索视频特征之间的特征相似度，生成针对所述视频检索结果的评估信息。