[发明专利]一种基于特征迁移的半监督实例分割算法

权利要求书

1.一种基于特征迁移的半监督实例分割算法，其特征在于：

通过在Mask R-CNN模型目标检测分支最后一个卷积网络层与分割预测分支原逆卷积网络层之间建立特征迁移模块，以实现特征迁移半监督实例分割；利用半监督实例分割数据集对该模型进行训练，将目标检测分支学习的物体视觉特征用于提升分割预测的性能；

具体做法是：

建立特征迁移半监督实例分割模型；本发明提出的特征迁移半监督实例分割模型称为FT-Mask(Feature Transfer Mask R-CNN)；整个模型主要分为共享网络前部、上半部分目标检测分支、下半部分分割预测分支和中间部分的特征迁移模块；其中共享网络前部用于提取图像的视觉特征，随后RoIAlign层将这些视觉特征提取为感兴趣区域(Region ofInterest，RoI)特征；目标检测分支和分割预测分支分别将RoI特征用于目标检测预测和目标分割掩膜预测；

模型的目标检测分支在训练时通过具有检测标签的A∪B数据集(A数据集的完整实例分割标注包含了目标检测标注)进行学习，分割预测分支通过含有分割标签标注的A数据集进行学习；FT-Mask模型在训练时同时利用了完整实例分割标注的数据和弱标注的数据，因此其训练过程为半监督训练；

模型特征迁移模块将目标检测分支卷积网络层输出的特征图作为输入，对特征图中的视觉知识进行“迁移”后得到输出特征图；特征迁移模块输出的特征图和原分割预测特征图通过对应通道相加操作连接后作为分割分支中逆卷积网络层的输入；分割预测分支的逆卷积层将输出特征图尺寸放大至原来的两倍，其后是用于分割预测的卷积核大小为1×1的卷积层；对FT-Mask模型进行半监督训练后，其特征迁移模块就可以有效地将目标检测分支学习的知识转化为用于分割预测的知识；

2.如权利要求1所述的基于特征迁移的半监督实例分割算法，其特征在于：建立特殊的特征迁移模块：

本发明提出使用特征迁移方法实现知识迁移，并设计了一个特定的特征迁移模块以模拟知识迁移函数；本发明设计的特征迁移模块由基本特征迁移模块和分割聚合模块构成；其中，基本特征迁移模块两端为逆卷积网络层，中间的省略号部分为多个卷积网络层；而分割聚合模块的此网络层只有一个输出通道，其输出的单通道特征图“聚合”了目标检测分支输出特征所有通道的信息；上下两个部分的输出特征连接时，分割聚合模块输出的单通道特征图与基本特征迁移模块输出特征图的每一个通道对应相加；为了解决Mask R-CNN基础网络目标检测分支特征分辨率和分割预测分支特征分辨率不匹配的问题，基本特征迁移模块的第一个网络层和分割聚合模块的单个网络层都由逆卷积层实现；

本发明的分割聚合模块的设计受到了Mask^X R-CNN模型中“类不可知”(classagnostic)的分割预测分支启发，但其主要实现类不可知的特征迁移而非分割预测；类不可知指Mask R-CNN模型的分割预测分支输出了一个形状为1×M×M的分割图，其中M代表了分割图的高度值和宽度值，1代表了针对不同的目标类别总数分割预测图仅生成一个整体的前景分割结果；FT-Mask模型的分割聚合模块针对特征迁移过程生成1×h×w的输出特征图，其中h和w分别代表特征图的高度和宽度；分割聚合模块的输出特征图增加了特征迁移过程知识转换的多样性；

特征迁移模块设计过程中解决了FT-Mask模型的基础网络Mask R-CNN的目标检测分支输出特征与分割预测分支特征分辨率不匹配的问题；Mask R-CNN模型目标检测分支网络头的结构中，7×7和1×1代表了不同特征图或不同卷积核的高度×宽度，C1和C2代表了不同特征图的通道数；目标检测分支的第一个卷积网络层通过7×7大小的卷积核将分辨率为7×7的输入特征图下采样为分辨率1×1的特征图；然后，卷积核为1×1大小的卷积网络层将特征进行转化，并输出分辨率为1×1的特征图；目标检测分支卷积网络层输出的1×1×C2大小的特征图即特征迁移模块的输入特征图；特征迁移模块将目标检测分支的输出特征转化为用于分割预测的特征，但分割预测所需的特征图分辨率较高(其分辨率通常为14×14)，因此特征迁移模块还需要做相应的设计以解决分辨率不匹配的问题；

为解决上述问题，特征迁移分支通过逆卷积网络层将输入特征上采样到分割预测所需特征大小；逆卷积也称反卷积或转置卷积(Transposed Convolution)，是一种常用的特征图上采样方法；其它常用的特征图上采样方法还包括双线性插值(bilinearinterpolation)、上采样(up-sampling)和上池化(unpooling)；上述其它方法都通过固定的计算方法得到输出特征图，而逆卷积网络层在上采样预测时通过自适应的网络参数和卷积运算得到输出特征图；在网络模型的训练过程中，逆卷积网络层的参数通过误差反向传播(back propagation,BP)得到更新，因此其相对于其它上采样方法精度更高。