[发明专利]一种用于卷积神经网络的特征图增强系统及方法

权利要求书

1.一种用于卷积神经网络的特征图增强系统，用于深度图像处理，包括：

内置特征图单元，用于存储训练样本之间的本质共性特征；

输入控制器，基于原输入特征图x以及以往的内置特征图M_t-1，整合两者的特征信息，进行一系列卷积操作，得到一个与内置特征图大小一致的输入控制器的中间特征图；

特征图控制器，以原输入特征图x以及以往内置特征图M_t-1作为输入，进行一系列卷积操作，得到两个高度抽象的特征图表达，以γ_m参数控制两者的表达能力，经过sigmoid函数σ进行非线性数值转换，并与以往内置特征图M_t-1进行点乘，得到一个与内置特征图大小一致的特征图控制器的中间特征图表达，并结合所述输入控制器的中间特征图，以β参数来控制两者的表达能力，得到最新的内置特征图M_t表达；

输出控制器，在得到最新内置特征图表达M_t的情况下，以最新内置特征图M_t以及原输入特征图x作为输入，通过卷积操作得到两个高度抽象的特征表达，并用参数γ_o控制两个高度抽象的特征表达的表达能力，经过sigmoid函数得到特征图，将该特征图与最新内置特征图M_t进行点乘，从最新内置特征图M_t中提取出辅助信息作为最终的辅助特征图输出，

所述输入控制器、特征图控制器以及输出控制器为卷积控制器，对于给定输入特征图以及内置特征图，各卷积控制器首先使用两个一层二维卷积层来分别提取两者的特征，然后将它们相加，依次再接BN层、矫正线性单元层、二维卷积层、BN层，其中：

二维卷积层，用于对输入特征图与内置特征图在二维空间进行卷积，以提取特征，假设输入图像的宽度和高度分别为w和h，三维卷积核的大小为w'×h'×m'，其中w',h',m'分别表示宽度，高度和通道数，卷积后获得一个特征图，其中位于特征图(x,y)位置处的值表示成：

其中p_{(x+i)(y+j)(s+k)}表示输入的第(s+k)帧中(x+i,y+j)位置的像素值，ω_ijk表示卷积核的参数，b表示跟与该特征图相关的偏置；

BN层，对一批次的输入数据中每个通道，计算其均值μ和方差δ，以对神经元进行归一化操作，得到中间结果y；

矫正线性单元层，连接BN层，采用简单的非线性阈值函数，对输入进行只允许非负信号通过的变换。

2.如权利要求1所述的一种用于卷积神经网络的特征图增强系统，其特征在于：所述系统还包括并联单元，用于将所述输出控制器的结果与原输入特征图x进行并联，以在原输入的基础上增强网络的表达能力。

3.如权利要求2所述的一种用于卷积神经网络的特征图增强系统，其特征在于：所述BN层还使用可学习的尺度参数s和偏移参数Δ，对中间结果y进行处理，得到输出z。

4.如权利要求1所述的一种用于卷积神经网络的特征图增强系统，其特征在于：所述输入控制器首先对原输入特征图x进行卷积操作，此过程中对原输入特征图x进行了空间变换，从而得到更加抽象的特征表达，同时，所述输入控制器对以往的内置特征图M_t-1进行卷积操作，同样得到进一步更加抽象的特征表达，得到两个高度抽象的特征表达后，通过超参数α来控制两者的相对表达能力，最后经过tanh函数的作用得到所述输入控制器的最终输出。