[发明专利]视频处理器训练方法、装置、视频处理装置及视频处理方法在审
申请号: | 202010704473.5 | 申请日: | 2020-07-21 |
公开(公告)号: | CN111988621A | 公开(公告)日: | 2020-11-24 |
发明(设计)人: | 李世泰;贾宜霖;杨旭雷 | 申请(专利权)人: | 新加坡依图有限责任公司(私有) |
主分类号: | H04N19/42 | 分类号: | H04N19/42;H04N19/44;H04N21/234;H04N21/44;G06N3/04;G06N3/08 |
代理公司: | 上海市汇业律师事务所 31325 | 代理人: | 金炜霞 |
地址: | 新加坡玛丽娜景观*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 处理器 训练 方法 装置 处理 | ||
本发明提供一种视频处理器训练方法,包括:将解码视频作为训练样本,输入至视频处理器;视频处理器对解码视频进行处理,输出预计差值;根据预计差值和理想差值的差确定损失函数;根据损失函数的数值对视频处理器参数进行调整,得到训练好的视频处理器。本申请训练方法的视频处理器输出预计差值,且和理想差值进行比较确定损失函数,极大的减少了数据处理量,提高训练效率。本申请视频处理方法,通过深度学习网络训练视频处理器,利用训练好的视频处理器输出预计差值,将预计差值与输入视频叠加,将压缩后解压的视频恢复为原始视频,避免了现有技术由于采用运动估计和运动补偿进行帧间预测而导致的较大的运动估计残差和编码残差,提高了视频恢复的效果。
技术领域
本发明涉及数据处理领域,特别涉及视频处理器训练方法、装置、视频处理装置及视频处理方法、设备及计算机可读存储介质。
背景技术
数据传输在现代工业生产和生活中被大量应用,但数据的传输通常受到带宽的限制,不能在极短的时间内发送或接收无限的数据。为了使传输的信息的质量和数量达到最大化,在某些情况下,数据传输之前将被压缩或编码,而在接收时则被解压缩或解码。
数据传输中,视频数据传输更是占重要的地位,同样视频数据的传输也必须进行数据压缩,而视频数据却包含色度,亮度以及经常包含立体声音频信息,即使是很短的视频片段也需要占用大量数据。为了使视频数据在硬盘上占用更少的空间,以及减少视频传输的网络延迟,视频压缩技术越来越重要。
进行视频压缩,会不同程度的损失原始视频数据。由于视频数据中图像中的详细信息被损失,对某些对图像清晰度或者真实度要求高的应用场景会带来不便。现有技术提出多种方法解决视频数据压缩的损失,例如基于研究的图像先验信息基于视频序列的弥补损失的方法,如帧预测方法。现有技术采用帧预测的方法,主要采用运动估计和运动补偿,通过先前的局部图像来预测、补偿当前的局部图像,当视频场景内出现较激烈的运动区域或者镜头切换时,对于画面中突然出现新的视频内容信息,当前编码块无法在参考帧规定的搜索区域内找到率失真意义上的最佳匹配块,或者经过帧间预测后,得到的运动估计残差和编码残差都很大,从而导致视频恢复失真较大。除了导致视频恢复失真较大之外,现有技术的算法的计算复杂度较高,难以应用于实时性要求较高的场景。
发明内容
为了解决现有技术存在的问题,本发明的至少一个实施例提供了视频处理器训练方法、装置、视频处理装置及视频处理方法、设备,解决以上背景技术部分提到的各种问题。
第一方面,本发明实施例提出一种视频处理器训练方法,所述方法包括:将解码视频作为训练样本,输入至视频处理器,其中,所述解码视频为对原始视频进行编码之后再进行解码形成的解码视频;所述视频处理器对所述解码视频进行处理,输出预计差值;根据所述预计差值和理想差值的差确定损失函数,所述理想差值为所述原始视频与所述解码视频之间的差值;根据所述损失函数的数值对所述视频处理器参数进行调整;当所述损失函数数值趋向收敛时,停止训练,得到训练好的视频处理器。
在一些实施例中,所述理想差值根据所述原始视频和所述解码视频各对应图像帧之间差值确定。
在一些实施例中,所述根据所述原始视频和所述解码视频各对应图像帧之间差值确定理想差值,包括:用预设方式对所述原始视频进行分解,获取所述原始视频各图像帧;用所述同一预设方式对所述解码视频进行分解,获取所述解码视频分解的各图像帧;获取对应的解码视频分解的各图像帧和原始视频分解的各图像帧之间的差值;对所述各图像帧之间的差值进行处理,得到所述理想差值。
在一些实施例中,所述各图像帧之间的差值为各图像帧像素值差值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新加坡依图有限责任公司(私有),未经新加坡依图有限责任公司(私有)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010704473.5/2.html,转载请声明来源钻瓜专利网。