[发明专利]HE染色组织病理图像细胞核分割与分类系统、方法、设备及介质

权利要求书

1.HE染色组织病理图像细胞核分割与分类系统，其特征在于，包括多任务深度学习模块、多任务相关注意力机制模块、代价敏感学习策略模块、两步分水岭算法后处理模块；

所述多任务深度学习模块包含三个子任务模块，所述三个子任务模块分别为细胞核分割模块、细胞核实例分割模块和细胞核分类模块，所述细胞核分割模块、细胞核实例分割模块和细胞核分类模块的输入图像分别通过编码结构、多任务相关注意力机制模块、解码结构后获得细胞核分割结果、实例分割结果、细胞核分类结果；

所述细胞核分割模块，用于区分输入图像的像素是否属于细胞核或非细胞核；

所述细胞核实例分割模块，用于生成实例分割的水平和垂直距离图，有助于对前一个模块的语义分割结果执行实例分割；

所述细胞核分类模块，用于获得组织病理图像对应的分类图，这有助于对前两个模块的实例分割结果完成细胞核分类；所述细胞核分类模块的预测结果对应细胞核实例中像素比最高的类别；

所述多任务相关注意力机制模块，用于融合细胞核分割模块、细胞核实例分割模块和细胞核分类模块的特征表示，实现全局上下文信息的利用；

所述代价敏感学习策略模块，用于有效解决不同细胞类型样本数量严重失衡导致模型性能下降的问题；

所述两步分水岭算法后处理模块，用于对大小、颜色和形态上存在很大差异的细胞核进行更精确地分割。

2.根据权利要求1所述HE染色组织病理图像细胞核分割与分类系统，其特征在于，所述多任务相关注意力机制模块通过基于多任务分支的特征交互机制，具体为：

三个子任务模块首先通过各自的编码器，然后连接到多任务相关注意力机制模块；

三个子任务模块向各自的解码器输出并执行各自的任务；其中，三个子任务模块都有各自的参数，而多任务相关注意力机制模块中的参数由所有子任务模块共享；由于多任务相关注意力机制模块的作用，每个子任务模块不仅学习自己的任务特征，同时学习到其他子任务模块的相关任务特征。

3.根据权利要求1所述HE染色组织病理图像细胞核分割与分类系统，其特征在于，所述代价敏感学习策略模块，通过在损失函数中嵌入代价敏感矩阵，减轻样本不平衡的影响，提高像素数量占比少的细胞核分类精度，具体为：

对于图像像素分类问题，将代价敏感的惩罚矩阵应用于每个patch中的每个像素，因此，首先使用现有的代价敏感矩阵W与输入样本图像中的每个像素相关联，输入尺寸为(h1,h2)的patch图像被定义为：

而y_p表示与P对应的真实值标签；

其中，y_P(i,j)∈[0,M]，关联映射矩阵M_p被定义为：

代价敏感的损失函数定义为：

和y分别表示预测结果和真实标签，λ表示代价敏感损失的权重，M_p(y_i,·)表示真实标签与代价敏感标签相关联后的代价敏感混淆矩阵，L^base和定义为：

因为w(k,k)在代价敏感的惩罚矩阵W中为0，and M_p(y_i,·)类别像素对应的操作结果为0，因此，使用L^ce作为代价敏感损失函数的补充，最后，L^cs可用于类别不平衡的代价敏感惩罚。

4.根据权利要求1所述HE染色组织病理图像细胞核分割与分类系统，其特征在于，所述两步分水岭算法后处理模块，包括下述两个步骤：

第一步分水岭算法：采用梯度法获取水平方向和垂直方向的边缘特征，并将两个方向得到的边缘特征叠加，得到完整的边缘特征，结合边缘结构特征，引入标记控制分水岭方法，获得细胞核实例分割结果；

第二步分水岭算法：首先合并上述第一步分水岭算法错误划分的单元，然后计算合并结果中单元的距离变换图，在距离变换计算过程中，距离背景越远的像素值越大，结合距离变换图，采用第二步标记控制分水岭算法，对所有类型的单元实现更精确的实例分割。