[发明专利]基于特征注意力和子上采样的实例分割方法和装置

说明书

本发明揭示了一种基于特征注意力和子上采样的实例分割方法，该方法包括：获取待分割的原始图像；通过特征全局网络在原始图像中进行特征图提取，并在特征图中确定兴趣区域，特征全局网络包括注意力模块；从特征图中对齐提取兴趣区域；对提取的兴趣区域进行分类，并利用子像素上采样对提取的兴趣区域生成分割掩码，以实现对原始图像的实例分割。本发明的优点包括通过在特征图提取时加入注意力模块，可以在最大池化和平均池化操作后，应用通道变换删除冗余信息和融合信息，提高图像特征向量的有效性，同时，联合子像素上采样的方式，在不损失速度的情况下提高了实例分割中分割和检测的准确性，且占用内存并不增加。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于特征注意力和子上采样的实例分割方法和装置。

背景技术

实例分割是逐像素分割的一种，是语义分割的进一步发展。语义分割不区分属于同一类别的不同实例。例如，当图像中有多只猫时，语义分割将两只猫的所有像素预测为“猫”。而实例分割进一步需要区分哪些像素属于第一只猫以及哪些像素属于第二只猫。

Faster-RCNN是较早一点的目标检测的网络，对于一个输入图片，该网络可以得到边界框(bounding boxes)列表，每个边界框的类别标签，和每个边界框类别标签的概率。它包含卷积层，用来提取特征图，然后用RPN(Region Propose Network)对提取的卷积特征图进行处理。RPN用于寻找可能包含objects的预定义数量的区域(regions，边界框)。然后通过极大值抑制来筛选目标的边界框，最后通过全连接层和softmax计算得到每个regionproposal具体属于哪个类别(如人，马，车等)以及类别的概率。

Mask-RCNN是由Kaiming He提出的经典实例分割网络，该网络在Faster rcnn的基础网络上增加了一个Mask分支用来进行语义分割，并将Faster RCNN中的RoI Pooling替换成RoI Align操作，ROI Pooling的作用是根据预选框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图，以便进行后续的分类和bounding box回归操作。由于预选框的位置通常是由模型回归得到的，通常是浮点数，而ROI Pooling过程中存在两次量化，使得回归后的候选框的位置存在一定的偏差。ROI Align则取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，将整个特征聚集过程转化为一个连续的操作，消除了ROI Pooling量化带来的精度问题。

MaskLab实例检测网络，同样基于Faster-RCNN的网络结构，该网络通过回归框检测、语义分割回归和方向预测回归(Direction Prediction Logits)得到三个结果：回归框、语义分割和每个像素的对应的最靠近的方向。论文中引用了用于语义分割的deepLab网络系列中提出的空洞卷积的思想和超列(hypercolumn)，从而提高了实例分割的结果。在使用Faster-RCNN检测到目标框之后，使用相应的类别选取对应的语义通道并裁剪，接着结合方向预测再通过1x1的卷积得到粗分割掩码。Masklab最核心的地方是使用了方向特征。目标检测和语义分割可以用于不同类别的实例分割，方向特征则用于同一类别的实例分割，如同一边框中重叠的人。

在网络中，Mask-RCNN仍然沿用Faster rcnn中的特征金字塔来进行特征提取；MaskLab方向预测对数用于预测每个像素相对于它对应的实例中心的方向，进而用于分割同样语义标签的实例，但是网络中的额外方向预测仍然带来一定的计算量，而且在masklogit的分支中也存在上采样粗糙的问题。