[发明专利]一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法

说明书

本发明公开了一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，将一幅包含染色体的图像划分为S×S的网格单元，根据染色体实例三等分特征点的位置，将染色体实例分配给多个网格单元，每个网格单元负责预测一个实例的实例类别。每个输出通道负责预测该网格单元所属染色体对象的实例掩码图。相较于实例定位分割网络只采用实例中心点来完成实例分割，本发明提出的方法采用染色体三等分特征点来完成染色体实例分割，对于交叉重叠的染色体拥有更高的分割准确率，解决染色体图像的分割效果仍然不够理想，小体积染色体容易漏检的问题，大大提升了染色体实例分割算法的鲁棒性，加快了染色体实例的分割速度。

技术领域

本申请涉及医疗图像领域，特别涉及一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法。

背景技术

当前，在典型的染色体核型分析流程中，需要对染色体图像进行分割、分类等图像处理。国内已开发出一些染色体自动分析系统，在染色体图像出现交叠、粘连的时候，其分析的效果仍有待改进。传统的分割方法包括在图像直方图上基于阈值的，基于形态学腐蚀和膨胀的，基于形态学轮廓分析的，然而这些方法都有其限制的使用范围，对于目标染色体的形状和重叠区域的模式具有较高的要求，由于染色体具有目标小、形态杂、粘连多、辨识难等特点，致使传统图像分割方法无法自动地、鲁棒地达到理想的分割效果。

随着深度学习的发展，深度卷积神经网络在医学图像处理领域展现出了巨大的潜力，采用卷积神经网络Mask RCNN对染色体图像进行实例级别的自动分割效果有极大的提升，但由于染色体目标粘连、重叠、遮挡严重等问题，可能会导致非极大值抑制(NMS)过程中交叉重叠染色体过度抑制、掩模回归时重叠单体出现相互干扰等问题，使得染色体图像的分割效果仍然不够理想。

发明内容

本发明提供了一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，目的在于解决染色体图像的分割效果仍然不够理想，小体积染色体容易漏检的问题，大大提升了染色体实例分割算法的鲁棒性，加快了染色体实例的分割速度。

为了解决上述问题或至少部分地解决上述技术问题，在本申请的一个实施例中，提供了一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，其特征在于，所述方法包括：

步骤1：对多张包含染色体原图中的染色体实例进行纯色覆盖，生成多张染色体掩码图，以此作为神经网络当中染色体实例掩码图预测分支的样本标签；

步骤2：将包含染色体实例的原图划分成S×S个网格，每个网格负责预测一个染色体实例，根据每个染色体的三等分特征点来将该染色体分配给不同的网格来预测该染色体实例的实例类别；

步骤3：将待处理的染色体原图与标注的染色体实例掩码图以及所有网格的预测类别组合制作成训练集，采用所设计的损失函数将模型在制作的训练集上对染色体实例分割网络进行训练，经过多次迭代训练获得有效的染色体实例分割模型；

步骤4：利用训练好的染色体实例分割模型对染色体图像进行推理，将需要进行分割的染色体原图输入到模型当中，经过FPN提取染色体图像特征，在三个尺度上分别输出三个尺寸的张量来对特征进行输出；

步骤5：将FPN输出的特征张量进行自适应下采样操作，将每个特征张量中的特征进行提取，输出一个形状为S×S×256的特征张量用于染色体实例类别的预测，采用尺寸为3×3的卷积核对获得的特征张量进行特征提取，最终输出一个大小为S×S×C的特征张量来预测染色体实例类别；

步骤6：将FPN输出的特征张量进行上采样，输出一个形状为H×W×(256+2)的特征张量来用于预测染色体实例掩码图，采用3×3大小的卷积核对该特征张量进行七次卷积操作输出一个形状为H×W×S²的特征张量用于预测不同染色体实例的掩码图；

步骤7：结合输出的染色体实例类别预测张量和染色体实例掩码图预测张量，采用非极大值抑制算法来筛选预测结果，合并重叠的染色体掩码图，最终确定染色体实例分割的结果。