[发明专利]基于神经网络的视频编解码处理方法和装置

说明书

本发明公开了一种结合深度神经网络的视频编解码的方法和装置，使用DNN(Deep Neural Network，深度神经网络)处理目标信号，其中提供给DNN输入的目标信号对应于重建残差，预测过程、重建过程、一个或多个过滤过程或其组合的输出。来自DNN输出的输出数据被提供用于编码处理或解码处理。DNN可用于复原目标信号的像素值或预测目标信号与原始信号之间的一个或多个残差像素的符号。一个或多个残差像素的绝对值可以在视频比特流中通过信号发送，并与符号一起使用以减少目标信号的残差。

优先权声明

本发明要求于2015年9月3日提交的申请号为62/214,121的美国临时专利申请的优先权，其整体以引用的方式并入本文。

技术领域

本发明涉及视频编解码的一般领域。特别地，涉及在视频编解码系统中将深度神经网络(Deep Neural Network，DNN)应用于目标信号，其中提供给DNN输入端的目标信号对应于重建残差、来自预测过程、重建过程、所述至少一个过滤过程、或者它们的任何组合的输出。

背景技术

神经网络，也被称为“人工”神经网络(Artificial Neural Network，ANN)，是一种信息处理系统，其具有与生物神经网络相同的某些性能特征。神经网络系统由许多简单且高度互连的处理部件组成，以通过这些处理部件的对应于外部输入的动态信息来处理信息。处理部件可以被认为是人脑中的神经元，其中每个感知器(perceptron)接收多个输入并且计算输入的加权和。在神经网络领域，感知器被认为是生物神经元的数学模型。此外，这些互联的处理部件通常集结成层。对于识别应用，外部输入可以对应于网络中展示的模式，网络与一个或多个中间层(也被称为“隐藏层”)通信，其中实际过程是通过加权“连接”的系统完成。

人工神经网络可以使用不同的架构来指定网络中包括哪些变量以及它们之间的拓扑关系。例如神经网络中包括的变量可以是神经元之间连接的权重，其随着神经元的活动而变化。前馈网络是神经网络拓扑结构中的一种类型，其中每层中的节点被馈送到下一级，并且在同一层中的节点之间存在连接。大多数人工神经网络包含某种形式的“学习规则”，其根据所提出的输入模式修改连接的权重。在某种意义上，人工神经网络和他们类似的生物神经网络一样，都是通过示例学习的。反向传播神经网络是一个更为先进的神经网络，其允许权重调整的反向错误传播。因此，反向传播神经网络能够通过将向神经网络反馈的误差最小化来改善性能。

深度多层神经网络或深度神经网络(deep neural network，DNN)对应于具有多层互连节点的神经网络，允许其简洁地(compactly)表示高度非线性和高度变化的功能。然而，DNN的计算复杂度随着与大量的层相关的节点的数量的增加而急剧增加。直到最近，开发了一些有效的计算方法来训练这样的深度神经网络。其中，Hinton等人提出了一种逐层贪婪无监督学习过程，其依赖于受限玻尔兹曼机(restricted Boltzmann machines，RBM)训练算法来初始化深度信念网络(deep belief network，DBN)的参数。(Hinton等人“Afast learning algorithm for deep belief nets”，Neural Computation，第18卷，第1527-1554页，2006年)。Bengio等人提出了另一种逐层贪婪无监督学习过程。(“Greedylayer-wise training of deep networks”，Advances in Neural InformationProcessing Systems 19，作者：等，153-160页，MIT出版，2007年)。Ranzato等人开发了另一种有效的训练算法。(“Efficient learning of sparse representationswith an energy-based model”，Advances in Neural Information Processing Systems19，作者：等，153-160页，MIT出版，2007年)。