[发明专利]一种基于运动顺序性回归的自监督学习方法及装置

说明书

本发明公开了一种基于运动顺序性回归的自监督学习方法及装置，该方法包括：步骤S1，随机截取固定帧数的视频样本片段；步骤S2，计算获得所述视频样本片段的平均运动量；步骤S3，随机打乱所述视频样本片段内帧的顺序，得到乱序视频样本片段；步骤S4，对所述乱序视频样本片段进行顺序性评判；步骤S5，综合步骤S2获得的所述视频样本片段的平均运动量和步骤S4获得的顺序性评判结果为所述乱序视频样本片段生成最终的顺序得分并作为回归目标值，即标注标签，本发明充分利用了视频中运动顺序一致性的信息，通过随机生成样本以及样本内帧顺序，建立顺序性评判标准进行自动的顺序性得分评判，从而达到自动标注的目的。

技术领域

本发明涉及图像识别技术领域，特别是涉及一种基于运动顺序性回归的自监督学习方法及装置。

背景技术

近几年来，基于深度学习(Deep Learning)的技术在计算机视觉领域取得了很好的成效，比如，人脸识别和目标分类，其中代表性的深度学习方法有CNN(卷积神经网络)、RNN(递归神经网络)、GAN(生成式对抗网络)等。深度学习技术的出现大幅提升了传统识别算法的精度，但是其对标注样本数量的依赖也大幅上升。为了获得理想的模型训练效果，往往必须提供大量的标注数据作为训练样本，因此，对标注样本的需求呈现快速增长。

然而，样本标注是一项繁琐而消耗大量人力的工作，在实际应用中，给样本进行标注需要耗费大量的时间和人力，成本较高。为了减少样本标注的人力成本，出现了一类利用样本数据自身相关性自动生成标注的方法，称为自监督方法。自监督方法往往使用样本局部与整体之间时间、空间维度上的相关性，生成样本与标注标签对，作为监督数据提供给深度神经网络训练。

现有的视觉识别的自监督方法主要利用的是静态图像局部与局部区域间以及局部与整体间的空间位置与内容联系来自动生成标注关系。对于时间上的关系还缺乏有效的利用手段。而事实上视频中前后帧之间时间上运动顺序的相关性与一致性是非常重要的一种视频数据自身特性，完全可以作为自动生成标签的依据，因此，实有必要提出一种技术手段，以实现一种基于运动顺序性回归的自监督学习方法。

发明内容

为克服上述现有技术存在的不足，本发明之一目的在于提供一种基于运动顺序性回归的自监督学习方法及装置，充分利用了视频中运动顺序一致性的信息，通过随机生成样本以及样本内帧顺序，建立顺序性评判标准进行自动的顺序性得分评判，从而达到自动标注的目的。

本发明之另一目的在于提供一种基于运动顺序性回归的自监督学习方法及装置，其通过利用生成的乱序样本及其对应的顺序性得分训练深度回归网络实现自监督学习，摆脱了深度学习对大量人工标注样本的依赖，使通过该自监督学习方法得到的深度神经网络具有良好的泛化能力，可用于多种图像视频的分类识别应用。

为达上述及其它目的，本发明提出一种基于运动顺序性回归的自监督学习方法，包括如下步骤：

步骤S1，随机截取固定帧数的视频样本片段；

步骤S2，计算所述视频样本片段的平均运动量；

步骤S3，随机打乱所述视频样本片段内帧的顺序，得到乱序视频样本片段；

步骤S4，对所述乱序视频样本片段进行顺序性评判；

步骤S5，综合步骤S2获得的所述视频样本片段的平均运动量和步骤S4获得的顺序性评判结果为所述乱序视频样本片段生成最终的顺序得分，并作为回归目标值，即获得标注标签。

优选地，于步骤S5后，还包括如下步骤：

步骤S6，对所述乱序视频样本片段生成视觉特征；

步骤S7，利用所述乱序视频样本片段的视觉特征及步骤S5得到的最终乱序得分作为回归目标值训练深度回归神经网络，训练得到深度网络模型。