[发明专利]基于特征注意力和子上采样的实例分割方法和装置

权利要求书

1.一种基于特征注意力和子上采样的实例分割方法，其特征在于，所述方法包括：

获取待分割的原始图像；

通过特征全局网络在所述原始图像中进行特征图提取，并在所述特征图中确定兴趣区域，所述特征全局网络包括注意力模块；

从所述特征图中对齐提取所述兴趣区域；

对所述提取的兴趣区域进行分类，并利用子像素上采样对所述提取的兴趣区域生成分割掩码，以实现对所述原始图像的实例分割；

其中，所述特征全局网络包括用于逐层下采样的第一特征金字塔网络、连接在所述第一特征金字塔网络最后一个卷积层之后的注意力模块、以及连接在所述注意力模块之后逐层上采样的第二特征金字塔网络；所述注意力模块包括级联的通道注意力模块和空间注意力模块；

所述通道注意力模块用于：

分别对所述第一特征金字塔网络输出的中间特征图进行全局平均池化和全局最大池化以生成第一子中间特征图和第二子中间特征图；

将所述第一子中间特征图和第二子中间特征图在共享卷积层中进行通道压缩和通道恢复，生成第三子中间特征图；

将所述中间特征图和第三子中间特征图进行乘积作为输出；

所述空间注意力模块用于：

对所述通道注意力模块输出中的空间特征进行重组产生空间压缩图，并作为所述第二特征金字塔网络的输入。

2.根据权利要求1所述的方法，其特征在于，所述注意力模块还包括通道注意力模块，所述通道注意力模块用于：

分别对所述第一特征金字塔网络输出的中间特征图进行全局平均池化和全局最大池化以生成第一子中间特征图和第二子中间特征图；

将所述第一子中间特征图和第二子中间特征图在共享卷积层中进行通道压缩和通道恢复，生成第三子中间特征图；

将所述中间特征图和第三子中间特征图进行乘积，并作为所述第二特征金字塔网络的输入。

3.根据权利要求1所述的方法，其特征在于，所述子像素上采样包括：

将所述提取的兴趣区域通过卷积层生成通道数为r^2的多通道兴趣区域；

将多通道兴趣区域每个像素的r^2个通道排列呈r*r大小的区域，以获得高分辨率兴趣区域；其中，r为提取的兴趣区域相对高分辨率兴趣区域的缩放倍数。

4.根据权利要求3所述的方法，其特征在于，所述方法包括：

利用周期性改组算子将多通道兴趣区域每个像素的r^2个通道排列呈r*r大小的区域。

5.一种基于特征注意力和子上采样的实例分割装置，其特征在于，包括：

获取模块，用于获取待分割的原始图像；

特征全局网络模块，用于在所述原始图像中进行特征图提取，并在所述特征图中确定兴趣区域，所述特征全局网络包括注意力模块；

对齐模块，用于从所述特征图中对齐提取所述兴趣区域；

分割模块，用于对所述提取的兴趣区域进行分类，并利用子像素上采样对所述提取的兴趣区域生成分割掩码，以实现对所述原始图像的实例分割；

其中，所述特征全局网络模块包括用于逐层下采样的第一特征金字塔网络、连接在所述第一特征金字塔网络最后一个卷积层之后的注意力模块、以及连接在所述注意力模块之后逐层上采样的第二特征金字塔网络，所述注意力模块包括级联的通道注意力模块和空间注意力模块；

所述通道注意力模块用于：

分别对所述第一特征金字塔网络输出的中间特征图进行全局平均池化和全局最大池化以生成第一子中间特征图和第二子中间特征图；

将所述第一子中间特征图和第二子中间特征图在共享卷积层中进行通道压缩和通道恢复，生成第三子中间特征图；

将所述中间特征图和第三子中间特征图进行乘积作为输出；

所述空间注意力模块用于：

对所述通道注意力模块输出中的空间特征进行重组产生空间压缩图，并作为所述第二特征金字塔网络的输入。

6.一种电子设备，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述处理器通过运行所述可执行指令以实现如权利要求1-4中任一项所述的基于特征注意力和子上采样的实例分割方法。