[发明专利]一种基于深度神经网络的帧间预测方法

说明书

本发明提出了一种混合视频编解码系统中基于深度神经网络的帧间预测方法，属于帧间预测技术领域。所述方法通过借助当前块和参考块的周围相邻像素，利用深度神经网络获得一个更准确的预测块，从而使帧间预测性能得到提升。本发明的有益特点为，区别于基于传统帧间预测方法，本发明是基于深度神经网络的方法；区别于现有的仅针对于混合视频编解码系统中图像块本身作为输入的深度神经网络方法，本发明的深度神经网络输入是多个输入，包含非方形区域，这是区别于普通卷积神经网络的贡献所在。

技术领域

本发明涉及一种混合视频编解码系统中基于深度神经网络的帧间预测方法，属于帧间预测技术领域。

背景技术

随着便携设备以及自媒体的快速发展，视频编码相关的应用正在快速发展并逐渐走向成熟，比如短视频分享、视频通话、互联网直播、电视广播、等等。帧间预测能够有效地去除视频的相邻帧之间的冗余信息，因此提高帧间预测的准确性能够提高视频编码的压缩性能。

一般情况下，传统的帧间预测算法中，当前块的预测值是直接从参考帧直接拷贝或者插值得到的。视频的相邻帧存在许多变化，包括亮度变化、渐进渐出、模糊等。传统的一些帧间预测算法提出利用编码块周围像素来处理亮度变化以及利用当前块的相邻像素和参考块的相邻像素来补偿当前块的亮度变化。这些方法都是基于传统的线性模型来补偿当前的编码块。传统帧间预测的方法存在准确性不足的问题。

发明内容

本发明的目的是为了提高混合视频编解码系统中帧间预测的准确性，利用深度神经网络强大的学习能力，而提出的一种基于深度神经网络的帧间预测方法。本发明的有益特点为，区别于基于传统帧间预测方法，本发明是基于深度神经网络的方法；区别于现有的仅针对于混合视频编解码系统中图像块本身作为输入的深度神经网络方法，本发明的深度神经网络输入是多个输入，包含非方形区域，这是区别于普通卷积神经网络的贡献所在。所采取的技术方案如下：

一种基于深度神经网络的帧间预测方法，所述方法的过程为：

步骤一：获取当前块的左下、左边、左上、上边和右上区域的像素、参考块以及参考块的左下、左边、左上、上边和右上区域的像素，所述当前块和参考块是矩形区域或非矩形区域；当所述当前块和参考块是矩形区域时，所述当前块和参考块的尺寸为W*H，W为当前块和参考块的宽，H为当前块和参考块的高；

步骤二：将步骤一获取的当前块的左下、左边、左上、上边和右上区域的像素、参考块以及参考块的左下、左边、左上、上边和右上区域的像素输入到深度神经网络中，学习获得当前块和参考块之间的关系，或学习获得参考块和参考块的左下、左边、左上、上边和右上区域的像素之间的关系，从而获得当前块的一个预测块。

进一步地，所述步骤二获得更准确的预测块的过程为：

第一步：将步骤一获取的当前块的左下、左边、左上、上边和右上区域的像素和参考块的左下、左边、左上、上边和右上区域的像素输入到关系估计网络，获得一个关系块，关系块是指当前块和参考块之间的关系，尺寸和当前块一致，因此定义为关系块。由于当前块还未获取，因此关系块获取需要从当前块的左下、左边、左上、上边和右上区域的像素和参考块的左下、左边、左上、上边和右上区域的像素利用关系估计网络学习得到。关系估计网络是指用来获取关系块的深度神经网络；

第二步：用特征组合网络对步骤一得到的参考块和第一步得到的关系块进行特征图的提取，并将所述提取到的特征图组合到一起；

第三步：将第二步得到的组合后的特征图输入到深度提纯网络，得到当前块的一个更准确的预测块。

进一步地，所述步骤二获得更准确的预测块的过程为：

第一步：将步骤一获取的参考块和参考块的左下、左边、左上、上边和右上区域的像素输入到一个神经网络中，学习得到参考块和参考块的左下、左边、左上、上边和右上区域的像素之间的关系，所述神经网络由全连接层、卷积层或者二者的组合来实现；