[发明专利]一种基于运动顺序性回归的自监督学习方法及装置有效
申请号: | 201910304026.8 | 申请日: | 2019-04-16 |
公开(公告)号: | CN110070023B | 公开(公告)日: | 2020-06-16 |
发明(设计)人: | 金明;张奕;姜育刚 | 申请(专利权)人: | 上海极链网络科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06N3/04;G06N3/08 |
代理公司: | 上海硕力知识产权代理事务所(普通合伙) 31251 | 代理人: | 郭桂峰 |
地址: | 202163 上海市崇明区*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 运动 顺序 回归 监督 学习方法 装置 | ||
1.一种基于运动顺序性回归的自监督学习方法,包括如下步骤:
步骤S1,随机截取固定帧数的视频样本片段;
步骤S2,计算所述视频样本片段的平均运动量:计算所述视频样本片段中相邻帧间的光流矢量图,并将光流幅值在各像素及各时间点上的平均值作为所述视频样本片段的平均运动量;
步骤S3,随机打乱所述视频样本片段内帧的顺序,得到乱序视频样本片段;
步骤S4,对所述乱序视频样本片段进行顺序性评判:根据半正态分布随机生成乱序视频样本片段顺序性评判值,并根据该顺序性评判值随机生成一对应的乱序序列;
步骤S5,综合步骤S2获得的所述视频样本片段的平均运动量和步骤S4获得的顺序性评判结果为所述乱序视频样本片段生成最终的顺序得分,并作为回归目标值,即获得标注标签。
2.如权利要求1所述的一种基于运动顺序性回归的自监督学习方法,其特征在于,于步骤S5后,还包括如下步骤:
步骤S6,对所述乱序视频样本片段生成视觉特征;
步骤S7,利用所述乱序视频样本片段的视觉特征及步骤S5得到的最终的顺序得分作为回归目标值训练深度回归神经网络,训练得到深度网络模型。
3.如权利要求1所述的一种基于运动顺序性回归的自监督学习方法,其特征在于:于步骤S1中,采用均匀分布随机采样方法确定起始帧位置,截取固定帧数的视频样本片段,所述固定帧数为所述视频样本片段长度。
4.如权利要求1所述的一种基于运动顺序性回归的自监督学习方法,其特征在于,步骤S3进一步包括:
步骤S300,根据半正态分布随机生成乱序视频样本片段的顺序性评判值,即顺序性评判参数S;
步骤S301,计算所述视频样本片段X={x1,x2,…,xM}的所有可能的乱序排列集合,根据半正态分布随机生成乱序排列集合中各乱序视频样本片段对应的顺序评判值,并记录各顺序评判值中的最大值为Smax;
步骤S302,对服从高斯分布的随机变量p~N(0,Smax/2)进行采样,并计算变量P作为采样的顺序评判值;
步骤S303,在所述乱序排列集合中寻找顺序评判与P的采样值一致的子集φ(P),从φ(P)中均匀随机采样得到最终的乱序视频样本片段
5.如权利要求1所述的一种基于运动顺序性回归的自监督学习方法,其特征在于,所述顺序性评判值,即顺序性评判参数S定义为:
其中
其中,和分别为乱序样本序列中第i帧和第i+1帧在原顺序样本序列中的帧号。
6.如权利要求1所述的一种基于运动顺序性回归的自监督学习方法,其特征在于:于步骤S4中,所述乱序视频采样片段的视觉特征通过采样帧间差求和的方式获得。
7.如权利要求1所述的一种基于运动顺序性回归的自监督学习方法,其特征在于:于步骤S6中,所述乱序视频样本片段的最终顺序得分为其顺序性评判值S与原顺序序列的视频样本片段的平均运动量的乘积。
8.一种基于运动顺序性回归的自监督学习装置,包括:
视频样本采样单元,用于随机截取固定帧数的视频样本片段;
平均运动量计算单元,用于计算所述视频样本采样单元采样到的视频样本片段的平均运动量,所述视频样本片段的平均运动量为:计算所述视频样本片段中相邻帧间的光流矢量图,并将光流幅值在各像素及各时间点上的平均值作为所述视频样本片段的平均运动量;
乱序单元,用于随机打乱所述视频样本采样单元采样到的视频样本片段内帧的顺序;
顺序性评判单元,用于对所述乱序单元生成的乱序视频样本片段进行顺序性评判;
标注标签确定单元,用于综合所述平均运动量计算单元获得的视频样本片段的平均运动量和顺序性评判单元获得的顺序性评判结果为所述乱序视频样本片段生成最终的顺序得分,并作为回归目标值,即获得标注标签。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海极链网络科技有限公司,未经上海极链网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910304026.8/1.html,转载请声明来源钻瓜专利网。