[发明专利]对视频帧数据进行处理的方法和装置

说明书

本公开是关于一种对视频帧数据进行处理的方法和装置，属于视频编解码技术领域。所述方法包括：将预先训练的神经网络中的权重参数的数据类型转换为定点型，得到转换后的权重参数；将待进行目标处理的视频帧数据的数据类型转换为定点型，得到转换后的视频帧数据；将转换后的视频帧数据输入加载了转换后的权重参数的神经网络，得到目标处理后的视频帧数据。这样，将浮点型的数据转换为定点型的数据，定点型的数据的小数点位置固定，无需对运算过程中的结果进行约束，不会出现对相同数据进行相同运算却出现不同结果的情况。进而编解码运算结果一致，解码端可以正常解码。

技术领域

本公开是关于视频编解码技术领域，尤其是关于一种对视频帧数据进行处理的方法和装置。

背景技术

在对视频帧图像进行压缩编码的过程中，需要对视频帧图像进行处理，如滤波处理。具体地，原始的视频帧图像会产生失真，因此在解码的过程得到的视频帧图像也是失真的视频帧图像。为了不影响视频帧图像的使用，需要对解码后的失真的视频帧图像进行滤波得到去失真的视频帧图像。

有研究表明，可以采用神经网络对失真的视频帧图像进行滤波。

在神经网络中进行运算的数据是浮点型的数据，浮点型的数据的运算结果与运算方式相关。浮点型的数据的小数位的位数可变，在运算过程中不可避免地运算结果会超出浮点型的数据可以表示的范围，因此总是要对运算结果进行约束，即将运算结果的小数位约束到浮点型的数据可以表示的范围之内。约束之后的数据是近似数据。由于近似数据的存在，运算的先后顺序会直接影响运算结果。

例如，浮点型的数据A、B、C，假如A、B、C的小数位的位数不一致，要计算它们相加的结果，第一种方式，可以先计算A+B的结果进行约束，再加C，再进行约束得到D1。第二种方式，也可以先计算B+C的结果进行约束，再加A，再进行约束得到D2。上述两种方式得到的结果D1和D2是不一样的。

在实现本公开的过程中，发明人发现至少存在以下问题：

不同编译器对浮点型数据的运算方式不一样，而且不同的运算方式对应不同的好处，不能直接规定所有编译器运算方式。如果编码端的编译器采用了第一种方式对浮点型数据进行运算，而解码端的编译器采用了第二种方式对浮点型数据进行运算，它们两端得到的结果不一致，解码端无法正常解码。

发明内容

为了克服相关技术中存在的问题，本公开提供了以下技术方案：

根据本公开实施例的第一方面，提供一种对视频帧数据进行处理的方法，所述方法包括：

将预先训练的神经网络中的权重参数的数据类型转换为定点型，得到转换后的权重参数，其中，所述神经网络为用于在视频编解码过程中对视频帧数据进行目标处理的算法模型；

将待进行目标处理的视频帧数据的数据类型转换为定点型，得到转换后的视频帧数据；

将转换后的视频帧数据输入加载了转换后的权重参数的神经网络，得到目标处理后的视频帧数据。

可选地，所述神经网络为卷积神经网络，所述权重参数包括卷积核元素和偏置。

可选地，所述将预先训练的神经网络中的权重参数的数据类型转换为定点型，得到转换后的权重参数，包括：

对于预先训练的卷积神经网络中的每个卷积核，确定所述卷积核中绝对值最大的卷积核元素；

对于所述卷积神经网络中的多个偏置，确定所述多个偏置中绝对值最大的偏置；

根据每个卷积核中绝对值最大的卷积核元素、以及预设的定点型的卷积核元素的数据位宽，将每个卷积核中的卷积核元素的数据类型转换为定点型，根据多个偏置中绝对值最大的偏置、以及预设的定点型的偏置的数据位宽，将所述多个偏置的数据类型转换为定点型，得到转换后的权重参数。