[发明专利]HE染色组织病理图像细胞核分割与分类系统、方法、设备及介质

说明书

本发明公开了一种HE染色组织病理图像细胞核分割与分类系统、方法、设备及介质，系统包括多任务深度学习模块、多任务相关注意力机制模块、代价敏感学习策略模块、两步分水岭算法后处理模块；所述多任务深度学习模块，用于分别进行细胞核语义分割、实例分割和细胞核分类；所述多任务相关注意力机制模块，用于融合细胞核分割模块、细胞核实例分割模块和细胞核分类模块的特征表示，以利用全局上下文信息；所述代价敏感学习策略模块，用于有效解决不同细胞类型样本数量严重失衡导致模型性能下降的问题；所述两步分水岭算法后处理模块，用于对大小和形态上存在很大差异的细胞核进行更精确地分割。本发明可实现HE染色组织病理学图像细胞核分割与分类任务。

技术领域

本发明属于数字图像处理的技术领域，具体涉及一种H＆E染色组织病理图像细胞核分割与分类系统、方法、设备及介质。

背景技术

癌症严重危害人类健康，病理诊断是判断肿瘤恶性程度的“金标准”。H＆E染色是制备组织病理学切片的重要步骤之一，它可以显示肿瘤的组织结构和细胞成分。细胞核分割与分类是数字病理图像分析的必要前提和重要基础。现有的细胞核分割有基于区域的图像分割，基于区域的图像分割是依据自身的空间特征被划分为多个区域。常见的基于区域的图像分割方法有许多，譬如分水岭法和分裂合并法等等。基于区域的图像分割方法中，区域内的像素具有类似的梯度特征、纹理特征、像素灰度值特征等等。该类方法中目标像素的选择可以是具有众多相似特征的多个像素的小区域，或者可以是单个像素。如果所选择的目标像素的特征不一样，找到的像素也不一样，不一样的特征会影响到区域生长法最终的实现。当图像的像素的灰度值均匀分布且差异不大时，区域生长法的分割效果较好。但是，这个方法存在着一定的弊端：首先，其分割时需要自己预先设置相似特征，这将导致图像分割时具一定程度上的不确定性；其次，该方式对噪声相当敏感；还有，当图像的纹理信息比较复杂而且像素点较多时，该方法的分割速率会大幅度下降，图像分割的精确度也会受到干扰。在临床诊断中，较小比例的细胞同样发挥着非常重要的作用。因此，准确地分割和分类各个类别的细胞核，特别是样本图像中比例较小的细胞类别，具有重要临床意义和科学价值。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种H＆E染色组织病理图像细胞核分割与分类系统、方法、设备及介质，本发明由三个独立的编码器和解码器组成的多任务特征融合框架。进一步引入代价敏感学习策略，有效解决学习样本中不同细胞类型样本数量不均衡的问题。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种H＆E染色组织病理图像细胞核分割与分类系统，包括多任务深度学习模块、多任务相关注意力机制模块、代价敏感学习策略模块、两步分水岭算法后处理模块；

所述多任务深度学习模块包含三个子任务模块，所述三个子任务模块分别为细胞核分割模块、细胞核实例分割模块和细胞核分类模块，所述细胞核分割模块、细胞核实例分割模块和细胞核分类模块的输入图像分别通过编码结构、多任务相关注意力机制模块、解码结构后获得细胞核分割结果、实例分割结果、细胞核分类结果；

所述细胞核分割模块，用于区分输入图像的像素是否属于细胞核或非细胞核；

所述细胞核实例分割模块，用于生成实例分割的水平和垂直距离图，有助于对前一个模块的语义分割结果执行实例分割；

所述细胞核分类模块，用于获得组织病理图像对应的分类图，这有助于对前两个模块的实例分割结果完成细胞核分类；所述细胞核分类模块的预测结果对应细胞核实例中像素比最高的类别；

所述多任务相关注意力机制模块，用于融合细胞核分割模块、细胞核实例分割模块和细胞核分类模块的特征表示，实现全局上下文信息的利用；

所述代价敏感学习策略模块，用于有效解决不同细胞类型样本数量严重失衡导致模型性能下降的问题；

所述两步分水岭算法后处理模块，用于对大小、颜色和形态上存在很大差异的细胞核进行更精确地分割。