[发明专利]基于3D卷积的视频比特位深扩展方法、装置及介质

说明书

本发明提供一种基于3D卷积的视频比特位深扩展方法、装置及介质，包括：S1：建立由低比特图像与对应的高比特图像组成有监督的数据集；S2：建立视频位深扩展网络，视频位深扩展网络以3D卷积为基本单元，以编码器‑解码器为主要结构；S3：以最小化损失函数为目标，优化更新视频位深扩展网络中的参数，每轮训练完成后使用测试集对视频位深扩展网络的学习效果和泛化能力进行测试；S4：训练完成后，将测试集中的低比特图像序列输入到网络中，重建出高比特图像序列。本发明保留了图像位深扩展方法性能的同时，改善了现有图像位深扩展方法在处理视频时由于同一区域前后处理结果不一致，易出现闪烁、抖动和假边缘移动等的问题。

技术领域

本发明涉及一种视频图像处理技术领域的方法，具体是一种基于3D卷积的针对视频图像位宽扩展方法、装置及介质。

背景技术

图像位宽是指用来表示每个像素单通道颜色数量的比特数，比特数越大，像素单通道可以表示的颜色和亮度范围就越大，高比特图像意味着更大的颜色空间，更丰富的细节信息，更好的视觉质量，但同时也对存储和传输技术提出了更高的要求。所以在图像位宽的选择上通常存在微妙的效率权衡：一方面，为了减小存储空间，节省传输带宽，提高传输速度，在存储和传输过程中倾向于使用低比特的数据；另一方面，为了尽可能多地获取原始图像信息，充分利用显示设备的能力，满足用户不断提高的对视觉质量的要求，在处理和显示过程中倾向于使用高比特的数据。为了满足上述两方面的差异化需求，需要有从低比特图像重建出高比特图像的技术，这种重建过程叫做图像位宽扩展。

此外，现在越来越多的显示设备开始支持显示10比特的内容，然而现有的图像和视频内容大多都是8比特，为了使现有的图像和视频内容能够适应更高位宽的显示设备，同样需要进行图像位宽扩展。

视频位深扩展方法的目标是根据低位深的输入视频，恢复出具有更高视觉质量的高位深视频。与图像处理相比，视频位深扩展任务具有以下特点：(1)连续帧之间有可参考的冗余信息；(2)帧间一致性会影响视频的视觉质量；(3)对方法的时间和空间开销要求更严格。

目前存在一些传统的图像位宽扩展方法，这些方法主要依赖于手工设计的方法，要求使用者具有较深的先验知识和参数调节能力，可操作性不足，此外这些方法独立于数据，单纯是对问题的抽象，无法充分利用现有的大数据资源。近些年出现的一些基于学习的方法，没有充分考虑位宽扩展问题的特性，在网络结构设计上缺乏针对性，重建结果存在较多伪像。而在应用于视频时，这些方法均未考虑到帧间一致性，重建结果易出现抖动、闪烁等问题。

发明内容

针对现有的视频图像位宽扩展技术的缺陷，本发明提供一种基于3D卷积的视频比特位深扩展方法、装置及介质。

本发明的第一目的，提供一种基于3D卷积的视频比特位深扩展方法，包括：

S1：对于原始高比特视频，读取连续图像序列并切割成图像块，再量化为低比特图像，所述低比特图像与对应的高比特图像组成有监督的数据集，作为后续的训练集和测试集；

S2：建立视频位深扩展网络，所述视频位深扩展网络以3D卷积为基本单元，以编码器-解码器为主要结构，以视频连续多帧低比特图像序列作为输入，输出对应中间帧的高比特图像；

S3：以最小化损失函数为目标，使用所述训练集优化更新所述视频位深扩展网络中的参数，每轮训练完成后使用所述测试集对所述视频位深扩展网络的学习效果和泛化能力进行测试，保留期间量化指标最好的视频位深扩展网络；

S4：训练完成后，将所述测试集中的低比特图像序列输入到保留的所述视频位深扩展网络中，重建出高比特图像序列。

可选地，所述S1，包括：

获取原始高比特视频，去除所述原始高比特视频首尾的全黑帧，然后按比例将原始高比特视频图像序列划分为训练和测试用；其中：