[发明专利]视频超分变率的方法和装置在审
申请号: | 201910336702.X | 申请日: | 2019-04-25 |
公开(公告)号: | CN111861877A | 公开(公告)日: | 2020-10-30 |
发明(设计)人: | 周川;金慕淳 | 申请(专利权)人: | 华为技术有限公司;韩国科学技术院 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;H04N21/4402 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 时林;毛威 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 超分变率 方法 装置 | ||
1.一种视频超分变率的方法,其特征在于,包括:
获取与第一分辨率对应的第一模型,所述第一模型包括神经网络模型;
根据所述第一模型对第二分辨率的第一视频的数据进行超分变率处理,以生成第一待处理数据,所述第一分辨率高于所述第二分辨率;
根据与所述第一分辨率对应的第二模型对所述第一视频的数据进行超分辨率处理,以生成第二待处理数据,其中,所述第二模型包括非神经网络模型;
根据所述第一待处理数据和所述第二待处理数据,生成所述第一分辨率的第二视频的数据。
2.根据权利要求1所述的方法,其特征在于,所述获取与第一分辨率对应的第一模型包括:
获取第一分辨率的第二原始训练视频;
对所述第二原始训练视频进行降分辨率处理,以获取第一原始训练视频;
调节原始模型的参数,以使目标训练视频与所述第二原始训练视频之间的相似度满足预设条件,其中,所述目标训练视频是基于第一训练数据和第二训练数据生成的第一分辨率的视频,所述第一训练数据是所述第一原始训练视频的数据经过基于所述原始模型的超分辨率处理后生成的数据,所述第二训练数据时所述第一原始训练视频的数据经过基于所述第二模型的超分辨率处理后生成的数据,所述调节后的原始模型为所述第一模型。
3.根据权利要求2所述的方法,其特征在于,在调节原始模型的参数之前,所述方法还包括:
对所述第一原始训练视频进行高斯模糊处理。
4.根据权利要求2或3所述的方法,其特征在于,在调节原始模型的参数之前,所述方法还包括:
根据第一编码方式,对所述第一原始训练视频进行编码处理;
根据与所述第一编码方式对应的第一解码方式,对编码处理后的第一原始训练视频进行解码处理,其中,所述第一解码方式是解码所述第一视频时使用的解码方式。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述第二模型包括朗克休斯重采样算法模型或双三次插值算法模型。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述第一模型包括k个卷积层,其中,经过所述k个卷积层中的前n个卷积层处理的数据被分为至少两路数据,所述至少两路数据中的第一路数据被输入至所述k个卷积层中的第n+1个卷积层,并经过所述第n+1个卷积层至第n+m个卷积层处理,处理后的第一路数据以及所述至少两路数据中的第二路数据合路后被输入至所述k个卷积层中的第n+m+1个卷积层,并经过所述第n+1个卷积层至第k个卷积层处理,其中,k≥3,n≥1,m≥1。
7.根据权利要求6所述的方法,其特征在于,k=4,n=1,m=2。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述方法还包括:
获取多个模型,以及所述多个模型与多个视频类型之间的映射关系,其中,每个模型是由所对应的视频类型的视频训练后获得的;以及
所述获取与第一分辨率对应的第一模型包括:
根据所述映射关系,将与所述多个模型中与所述第一视频的视频类型对应的模型,确定为所述第一模型。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述第一待处理数据包括第一视频的经过基于所述第一模型的超分变率处理后的每一帧的第一Y矩阵,所述第二待处理数据包括所述第一视频的经过基于所述第一模型的超分变率处理后的每一帧的第二Y矩阵,以及
所述根据所述第一待处理数据和所述第二待处理数据,生成所述第一分辨率的第二视频的数据,包括:
对第一视频的第i帧的第一Y矩阵和所述第i帧的第二Y矩阵求和,作为第二视频的第i帧的Y矩阵,其中,i∈[1,Z],Z为所述第一视频包括的帧的数量。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述方法由移动终端执行。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司;韩国科学技术院,未经华为技术有限公司;韩国科学技术院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910336702.X/1.html,转载请声明来源钻瓜专利网。