[发明专利]一种基于多尺度特征融合和多分支预测的多操作检测方法

权利要求书

1.一种基于多尺度特征融合和多分支预测的多操作检测方法，包括以下步骤：

(1)选择多媒体操作类型，构建经多种操作处理的多媒体数据集；所述操作处理包括滤波、加噪、锐化、JPEG压缩、直方图均衡、模糊、中值滤波、重采样、copy-move、同态滤波、添加高斯白噪声、局部直方图均衡化、高斯模糊、边缘锐化、gamma变换；对多媒体数据集的每个样本进行不止一种操作处理；

(2)采用残差块卷积流作为提取复合操作特征的主干网络，并联合多尺度特征融合与多分支预测环节，构建了一种多操作检测深度卷积神经网络；

(3)使用构建的多媒体数据集对所述多操作检测深度卷积神经网络进行训练，得到优化的检测网络模型进行操作类型分类和定位操作发生的具体位置；

多尺度特征融合的方法是将主干网络产生的最高层操作特征图经上采样操作后，与低一层操作特征图叠加，得到融合后的特征，重复该过程得到其他分辨率的融合特征图，并将最高层输出特征经过下采样，得到超过两种分辨率的特征图，与前面产生的融合特征图组合成多尺度特征分别输入给多分支预测环节；

通过串联多个残差块形成复合操作特征提取的主干网络，并将多个串联的残差块自网络输入端至网络输出端的方向依次编号为1，2，3…，n；

将主干网络的第n层残差块输出特征图与第n-1层残差块输出特征图进行融合，得到第一融合特征图；

将主干网络的第n-1层残差块输出特征图与第n-2层残差块输出特征图进行融合，得到第二融合特征图；

将主干网络的第n层残差块输出特征图进行下采样处理，得到至少两种分辨率的特征图，记为最高层下采样结果；

将主干网络的网络最终输出特征图，即主干网络的第n层残差块输出特征图、第一融合特征图、第二融合特征图、最高层下采样结果组合成多尺度特征。

2.如权利要求1所述的一种基于多尺度特征融合和多分支预测的多操作检测方法，其特征在于：通过串联一组残差块形成复合操作特征提取的主干网络，使每个残差块输出的特征图分辨率不断下降，同时增加特征图的通道数，对主干网络获得的不同分辨率的特征图进行多尺度特征融合，然后输出给多分支预测环节进行操作类型分类和边框回归预测。

3.如权利要求2所述的一种基于多尺度特征融合和多分支预测的多操作检测方法，其特征在于：采用超过5个残差块构造主干特征提取网络，每个残差块由卷积、池化层、BN层构成。

4.如权利要求3所述的一种基于多尺度特征融合和多分支预测的多操作检测方法，其特征在于：残差块中池化层带有跨步处理以减小特征图分辨率，且卷积输出经过非线性激活。

5.如权利要求2所述的一种基于多尺度特征融合和多分支预测的多操作检测方法，其特征在于：分支预测环节在每种分辨率的特征图上的各个像素位置放置多个不同尺寸和纵横比的锚框，并分别送入分类分支和边框回归分支模块，进行卷积操作进一步提取特征得到预测结果，边框回归预测的是操作区域相对于锚框的偏移量。

6.如权利要求2所述的一种基于多尺度特征融合和多分支预测的多操作检测方法，其特征在于：检测网络训练使用数据增强、随机概率失活技术和L2正则化，减少模型的过拟合情况。