[发明专利]一种基于Oriented Cascade Mask RCNN网络的细胞分割方法

权利要求书

1.一种基于Oriented Cascade Mask RCNN网络的细胞分割方法，其特征在于，包括如下步骤：

步骤1：数据处理：包括图像归一化、图像去噪、图像切分以及图像增强；

步骤2：特征提取：使用Resnet-50网络对切分后的图像进行特征提取，使用ImageNet数据集对这部分进行预训练；

步骤3：RPN感兴趣区域提议：根据Resnet-50网络的输出特征输出候选框，然后根据这些候选框与真实锚框之间的IOU来将其标记为正或负样本，将候选框再传递给检测头部来完成优化；

步骤4：ROIAlign从原始特征图上找到每个ROI区域对应的特征向量：RPN输出候选框后，使用ROIAlign模块从特征图上找到对应的特征向量；

步骤5：Cascade型分类、回归与分割分支分别预测结果：Cascade型分类回归与分割分支将来自ROIAlign模块输出的每个感兴趣区域对应的特征向量进行处理，使用级联型的设计思路，每个阶段使用越来越高的IOU匹配阈值，分别使用三个内嵌的卷积结构对分类、回归与分割这三个分支进行建模；

步骤6：使用NMS对预测的倾斜框进行过滤：在使用三个分支输出分类与回归结果后，使用NMS算法对结果进行过滤，NMS算法之后，得到每个目标的具有最高置信度的预测边界框，达到有且只有一个边界框来对每个细胞进行标识与定位。

2.根据权利要求1所述的细胞分割方法，其特征在于，所述步骤2使用一个倾斜的边界框去定位细胞所在的区域，所述倾斜的边界框就是细胞对应的最小外界矩形，使用cv2.minAreaRect函数求得该矩形的左上角坐标与右下角坐标。

3.根据权利要求1所述的细胞分割方法，其特征在于，所述步骤3使用Cascade策略提供的级联的检测头，逐级增加任务的难度进行筛选，来逐渐减少噪声对网络训练的影响，所述Cascade策略是根据IOU的高低进行正负样本的划分与过滤，用A、B、C来分别表示三个检测头，使用的IOU分别用表示，则存在着的关系，分别将其设置为0.5,0.6,0.7，根据该IOU值对每阶段的样本进行正负样本的划分。

4.根据权利要求1所述的细胞分割方法，其特征在于，所述方法在训练和预测时都使用了有重叠的滑动窗口方法对图像进行切分，统一使用640*640的分辨率进行预测，在训练时，对图像进行了随机缩放，比例在0.8~1.2之间，概率为0.2。

5.根据权利要求1所述的细胞分割方法，其特征在于，所述步骤5包括两阶段实例分割模型，在第一阶段，使用RPN模块生成可能的ROI区域，这些ROI区域需要根据与真实掩码之间的IOU来标定为正例或负例；然后，使用ROIAlign模块，将这些ROI区域转换到特征图上，从而从特征图中提取中对应的区域特征，在分类分支中，使用交叉熵Cross Entropy作为损失函数，其计算公式为

，

其中，当预测的类别与真实类别相同时，是1，否则，是0，

在回归分支中，使用SmoothL1作为损失函数，其计算公式为：

，

在分割分支中，同样使用Cross Entropy损失函数来计算每个像素点的预测类别与真实像素点的预测类别之间的差别，这里的类别指的是每个像素点是否属于细胞，也就是分割任务相当于一个二分类任务，在所述分类与回归的基础上，得到可能存在细胞的感兴趣区域边界框及它之中可能存在的细胞的类别，然后，取出这一区域中的特征向量，经过分割分支，就从该区域中分割出了细胞所在的具体区域。

6.根据权利要求1所述的细胞分割方法，其特征在于，所述步骤5在第二阶段中，使用回归分支得到最终的预测边界框，这些候选框需要进行过滤，即非极大值抑制算法的处理，将一些彼此之间交并比IOU较大的候选框过滤掉，具体过程为：

S1：对候选边界框集合B根据置信度进行降序排序；

S2：从集合B中选择第一个候选框，把它放入最终的边界框集合D中并从集合B中删除；

S3：遍历集合B中的每个候选框，计算它们与D集合中这个候选框的IOU值，如果IOU值大于阈值N，则把它从集合B中删除；

S4：重复步骤S2~3直到集合B为空。