[发明专利]视频预测方法、装置、计算机设备和存储介质在审
申请号: | 202011421744.2 | 申请日: | 2020-12-08 |
公开(公告)号: | CN112581508A | 公开(公告)日: | 2021-03-30 |
发明(设计)人: | 郜杰 | 申请(专利权)人: | 上海眼控科技股份有限公司 |
主分类号: | G06T7/269 | 分类号: | G06T7/269;G06K9/00;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 姜晓云 |
地址: | 200030 上海市徐汇*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 预测 方法 装置 计算机 设备 存储 介质 | ||
1.一种视频预测方法,其特征在于,所述方法包括:
获取历史视频所对应的历史光流信息序列;所述历史视频由N个历史图像按照时间顺序排列组成,所述历史光流信息序列包括N-1个历史光流信息,所述历史光流信息表征一个历史图像与前一个历史图像之间的光流变化特征;
根据所述历史光流信息序列进行预测,得到预测光流信息序列;所述预测光流信息序列包括多个预测光流信息,所述预测光流信息表征每个预测图像与前一个图像之间的光流变化特征;
根据所述预测光流信息序列确定预测视频对应的第一时空信息;所述第一时空信息包括各所述预测图像对应的时间特征和空间特征;
根据所述第一时空信息和所述历史视频进行预测得到多个所述预测图像,并由多个所述预测图像组成所述预测视频。
2.根据权利要求1所述的方法,其特征在于,所述根据所述预测光流信息序列确定预测视频对应的第一时空信息,包括:
根据所述预测光流信息序列和第N个历史图像进行形变处理,得到各所述预测图像所对应的图像内容信息;
将各所述预测图像所对应的图像内容信息输入到预先训练的编码网络中,得到所述编码网络输出的各所述预测图像对应的时间特征和空间特征,并由多个所述预测图像对应的时间特征和空间特征组成所述第一时空信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述预测光流信息序列和第N个历史图像进行形变处理,得到各所述预测图像所对应的图像内容信息,包括:
根据第1个预测光流信息对所述第N个历史图像进行形变处理,得到第1个预测图像所对应的图像内容信息;
根据第i个预测光流信息对第i-1个预测图像进行形变处理,得到第i个预测图像所对应的图像内容信息;其中,i为大于1的正整数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一时空信息和所述历史视频进行预测得到多个所述预测图像,包括:
将所述历史视频和所述第一时空信息均输入到所述视频预测网络中,利用所述视频预测网络对所述历史视频进行特征提取,并根据提取出的第二时空信息和所述第一时空信息进行预测得到多个所述预测图像;所述第二时空信息包括各历史图像对应的时间特征和空间特征。
5.根据权利要求4所述的方法,其特征在于,在所述将所述历史视频和所述第一时空信息均输入到所述视频预测网络中之前,所述方法还包括:
获取训练样本集;所述训练样本集包括多个历史样本图像、多个预测样本图像和样本时空信息;
基于所述训练样本集进行神经网络的训练,并利用预设损失函数确定所述神经网络输出的训练结果是否满足预设收敛条件;所述预设损失函数为均方误差损失函数;
在所述训练结果满足所述预设收敛条件的情况下结束训练,得到所述视频预测网络。
6.根据权利要求1所述的方法,其特征在于,所述根据所述历史光流信息序列进行预测,得到预测光流信息序列,包括:
将所述历史光流信息序列输入到预先训练的光流预测网络中,得到所述光流预测网络输出的所述预测光流信息序列。
7.根据权利要求1所述的方法,其特征在于,所述获取历史视频所对应的历史光流信息序列,包括:
将每相邻两个历史图像输入到预先设置的光流计算模型中,得到所述光流计算模型计算出的多个所述历史光流信息,并由多个所述历史光流信息组成所述历史光流信息序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海眼控科技股份有限公司,未经上海眼控科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011421744.2/1.html,转载请声明来源钻瓜专利网。