[发明专利]一种基于注意力机制的视频比特增强方法

权利要求书

1.一种基于注意力机制的视频比特增强方法，其特征在于，包括如下步骤：

1)首先将需要增强的视频信号的比特深度称为低比特深度，增强后的的视频信号的比特深度称为高比特深度，将高比特深度图像与对低比特深度图像应用零填充算法后得到的高比特深度图像的差称为残差图，建立基于注意力机制的视频比特增强模型；

所述的基于注意力机制的视频比特增强模型，包括依次连接的：全局注意力对齐模块(1)、编码器(2)、目标引导的语义注意力模块(3)和解码器(4)，其中，

所述全局注意力对齐模块(1)的输入端接收5帧连续的视频帧，用于捕获帧间和帧内的长距离依赖，输出经过隐式对齐后的5帧连续的视频帧；

所述的编码器(2)接收隐式对齐后的5帧连续的视频帧，同时分别对每一帧提取空间特征，分别输出含有对应帧的帧内空间信息的特征图；

所述的目标引导的语义注意力模块(3)接收编码器(2)输出的5个特征图，进行时空特征融合，得到含有时空特征信息的特征图，并从该特征图中获取与编码器( 2) 输出的中间帧的特征图相似的特征信息输出至解码器( 4) ；

所述的解码器(4)将接收到的特征信息逐步重建成残差图；

所述的全局注意力对齐模块(1)包括：

(1.1)将5帧连续的视频帧在通道方向级联得到维度为TC×H×W的信号，表示为其中，T表示连续的帧数，C表示每一帧的通道数，H、W表示输入视频帧的高和宽；

(1.2)将分别送入3个1×1的卷积核进行线性变换，得到的线性变换后的信号，记为再将重新排列成维度为TC×HW的二维矩阵，记为上标2表示该二维矩阵维度为2；

(1.3)对通过如下公式进行变换：

其中，表示矩阵乘法，(·)^T表对矩阵进行转置；得到的是和的相似性矩阵，表示加权求和后的维度为HW×TC；将转置然后重新排列成维度为TC×H×W的矩阵，记为

(1.4)将经过一个1×1的卷积核重新排列到T×C×H×W维度，然后与输入的5帧连续的视频帧进行残差连接，得到经过隐式对齐后的5帧连续的视频帧；

所述的目标引导的语义注意力模块(3)包括有：

(3.1)接收编码器( 2) 输出的5个特征图，每个特征图的维度为Ch×H×W，其中，Ch表示每一个特征图的通道数，H、W表示特征图的高和宽，将5个特征图在通道方向级联起来，变成维度为5Ch×H×W的特征图；

(3.2)然后经过一个3×3的卷积核进一步地融合时空信息，得到新的特征图该特征图的维度为Ch×H×W；

(3.3)将新的特征图重新排列为二维矩阵，记为维度为Ch×HW，令从编码器(2)接收的5个特征图的中间特征图为并重新排列成二维矩阵，记为维度为Ch×HW；

(3.4)对和进行以下操作：

其中，表示矩阵乘法，(·)^T表对矩阵进行转置；得到的是和的相似性矩阵，表示加权求和后的维度为HW×Ch，经过转置再重新排列成Ch×H×W的维度，记为表示加权求和后的

(3.5)将与进行残差连接后，再送入一个3×3的卷积核提取特征；

2)从图像增强数据库中随机选取设定数目的具有高比特深度的原始视频序列组构建训练数据集；

3)用构建的训练数据集对基于注意力机制的视频比特增强模型进行训练；

4)从图像增强数据库选择视频序列组构成测试集，对训练好的基于注意力机制的视频比特增强模型进行测试；

5)将需要增强的视频信号应用零填充算法得到高比特深度视频信号，然后将应用零填充算法得到的高比特深度视频信号以5帧为一组依次输入到测试好的基于注意力机制的视频比特增强模型，将基于注意力机制的视频比特增强模型的输出结果与对应输入的视频序列组的中间帧相加从而依次对应得到增强后的中间帧。

2.根据权利要求1所述的一种基于注意力机制的视频比特增强方法，其特征在于，所述的编码器(2)包括有与5帧连续的视频帧对应的5个卷积支路，每个卷积支路就由5个卷积层依次串联构成，每个卷积层包含有相连接的一个3×3的卷积核以及PReLU激活函数。