[发明专利]一种基于注意力机制的视频比特增强方法

说明书

一种基于注意力机制的视频比特增强方法：建立基于注意力机制的视频比特增强模型；从图像增强数据库中随机选取设定数目的具有高比特深度的原始视频序列组构建训练数据集；用构建的训练数据集对基于注意力机制的视频比特增强模型进行训练；从图像增强数据库选择视频序列组构成测试集，对训练好的基于注意力机制的视频比特增强模型进行测试；将需要增强的视频信号应用零填充算法得到高比特深度视频信号，再以5帧为一组依次输入到测试好的基于注意力机制的视频比特增强模型，将其输出结果与对应输入的视频序列组的中间帧相加从而依次对应得到增强后的中间帧。本发明在特征层面生成与目标特征图相关的语义注意力矩阵，提高了感知视觉质量。

技术领域

本发明涉及一种视频比特增强方法。特别是涉及一种基于注意力机制的视频比特增强方法。

背景技术

图像和视频等多媒体资源承载着丰富的信息，人们通过图像和视频可以快速了解外界所发生的事情。自从摄录设备和显示设备诞生以来，人们就一直致力于研究如何获得和显示更高质量的图像和视频。为了追求更好的视觉体验，人们提出了高动态范围(HighDynamic Range,HDR)这一技术，采用更高的动态范围和更多的比特深度(通常为10或12比特)来表示一个像素。具有高动态范围的图像和视频可以展示出更丰富的色彩，更细腻的颜色过渡，和更真实的纹理细节。目前随着技术的发展，超高清显示器和HDR显示器正在成为大家普遍的选择。然而，以前用旧摄录设备所捕获的大量的图像和视频只有8比特的位深，当它们呈现在HDR显示器上时，就会出现伪轮廓和色彩失真^[1]等对人的视觉体验不友好的现象。因此，对低比特深度的图像和视频进行比特深度增强对于提高人的感官体验具有非常重要的意义和价值。

早期的比特深度增强方法，比如零填充法(Zero Padding,ZP)、理想增益乘积法(Multiplication by an Ideal Gain,MIG)和位复制算法(Bit Replication,BR)^[2]等，都是基于独立像素做的比特增强方法，虽然它们计算简便快速，但是伪轮廓效应依然明显。后来，一些基于差值的方法被提出，比如轮廓区域重建算法(Contour RegionReconstruction,CRR)^[3]、内容自适应图像比特深度增强算法(Content Adaptive ImageBit-Depth Expansion,CA)^[4]和利用亮度势能进行自适应地反量化算法(IntensityPotential for Adaptive Dequantization,IPAD)^[5]等。以上方法考虑了像素周围的上下文信息，能够较好地消除伪轮廓效应，但是它们重建出的图像内容会出现模糊和细节丢失等现象。近年来，神经网络在计算机视觉领域取得了引人注目的成就，对特定任务表现出了较强的学习能力和自适应能力。因此深度学习也被引入比特深度增强领域，基于卷积神经网络的图像比特深度增强算法(Bit-Depth Enhancement via Convolutional NeuralNetwork,BE-CNN)^[6]，通过级联DNN所有层次特征图的比特深度增强算法(BE-CALF:Bit-depth Enhancement by Concatenating All Level Features of DNN)^[7]和基于学习的比特深度增强方法(BitNet:Learning-based bit-depth expansion)^[8]都取了较好的性能。

以上的比特增强方法都是面向图像的，如果将其应用于低比特深度的视频序列，视频前后帧冗余的信息就不能得到很好的利用，而且产生的高比特视频序列会出现帧间闪烁等现象。

发明内容

本发明所要解决的技术问题是，提供一种可以快速地重建出主观质量和客观质量较好的高比特中间帧的基于注意力机制的视频比特增强方法。

本发明所采用的技术方案是：一种基于注意力机制的视频比特增强方法，包括如下步骤：