[发明专利]一种用于监控视频增强的渐进式特征流深度融合网络

权利要求书

1.用于监控视频增强的渐进式特征流深度融合网络，其特征在于，包括用于对监控视频进行亮度增强的多级特征流融合网络；所述多级特征流融合网络包括U形融合模块UFM，输入与所述U形融合模块UFM的输出连接的跨尺度融合模块CFM；所述U形融合模块UFM的输入连接第一基本卷积层的输出，所述跨尺度融合模块CFM的输出连接第二基本卷积层的输入；

所述第一基本卷积层的输入与输入侧结合一卷积层的渗漏整流线性单元的输出连接，所述第二基本卷积层的输出连接帧重建模块的输入，所述帧重建模块用于将所述渗漏整流线性单元的输出的浅层特征以及第二基本卷积层的输出的深层融合特征跳跃连接后形成的深层特征映射成亮度增强后的单帧图像；

所述U形融合模块UFM包括由多个残差组RG构成的U形的编码解码网络，并在编码侧与解码侧之间设置有通道注意力模块CA，通道注意力模块CA与解码侧的残差组RG之间布置有卷积层；

从第一阶段开始逐渐对特征图进行下采样；在收缩路径中，在每个级别使用残差组RG提取特征；使用一层卷积对特征图下采样后，特征的小尺度信息将传到下一阶段的残差组RG再次提取特征；第一阶段通道数不变，其他两个阶段的第一层卷积会将通道数扩充一倍，以提取更加丰富的特征信息；

在扩展路径中，使用反卷积进行上采样操作，同上一阶段经过通道注意力模块CA加权的特征图在通道维度进行拼接，然后使用一层卷积将通道数缩减一倍，再使用残差组RG进一步处理；

表示第m阶段的编码部分的残差模块的输出，表示m+1阶段的解码部分的残差组RG输出，则第m级的输出表示为：

其中表示残差组RG的函数，表示卷积层，H_CA(·)表示通道注意力模块CA的函数；

所述的跨尺度融合模块CFM包括多层结构，每层包括多个残差块RB，分别用于提取、融合不同分辨率的特征；不同尺度的特征融合前先经过上采样和或下采样调整到相同尺度，经过上采样和或下采样后将相同尺度的特征图在通道维度进行拼接，进而融合特征图；所述残差块RB的主体是一层卷积、实例正则化层、渗漏整流线性单元LreLU和一层卷积的顺次连接。

2.根据权利要求1所述用于监控视频增强的渐进式特征流深度融合网络，其特征在于，所述通道注意力模块CA包括：依次顺序连接的全局均值池化层、第一全连接层FC、修正线性单元ReLU、第二全连接层FC、Sigmoid激活层；通过全局均值池化操作得到C×1×1大小的初始权重张量后，通过Sigmoid激活层输最后的权重张量F_M：

F_M＝f(F_C2(δ(F_C1(z))))

其中，f(·)表示Sigmoid门函数，F_C1和F_C2表示两个全连接层，δ(·)表示修正线性单元ReLU激活函数，C表示通道数。

3.根据权利要求2所述用于监控视频增强的渐进式特征流深度融合网络，其特征在于，所述残差组RG包括四个顺序布置的增强残差块ERB，前三个增强残差块ERB提取的特征连接到最后一个增强残差块ERB的后端，并与最后一个增强残差块ERB的输出在通道维度拼接；其特征提取方式表示如下：

F_ERB0表示输入到残差组RG的特征图，F_ERB1,F_ERB2,F_ERB3,F_ERB4分别表示四个增强残差块ERB的输出，F_C表示聚合后的残差特征图；经过一层卷积缩减通道数后，再与残差组RG的输入做一个残差连接，最后输出：

F_RG＝F_ERB0+H_Conv(F_C)

其中F_RG表示残差组RG的输出，H_Conv(·)表示恢复通道数的卷积操作。

4.根据权利要求3所述用于监控视频增强的渐进式特征流深度融合网络，其特征在于，所述增强残差块ERB由一个卷积层、一个修正线性单元ReLU、另一个卷积层和一个增强空间注意力模块ESA顺次连接构成。