[发明专利]基于情境感知及多模型融合的病理图像分类方法及系统

说明书

本发明公开了一种基于情境感知及多模型融合的病理图像分类方法及系统，该方法包括步骤：获取待识别的病理图像样本，对病理图像样本进行标准化处理；将标准化处理的病理图像输入预先训练完成的病理图像分类模型，从而获得病理图像分类结果；其中，病理图像分类模型由两个训练完成的OWM+PFC模型同时连接模型融合模块构成。本发明通过将具有感知图像周围语义信息的OWM+PFC模块应用到病理图像分类任务中，且使用两种不同的backbone训练的模型用于分别提取病理图像的特征，并将两个模型的的不同分类结果进行融合，起到集成学习的作用，改善分类结果，本方法分类精度高、适用范围广，具有较强的实际应用前景。

技术领域

本发明涉及图像分类技术领域，具体涉及一种基于情境感知及多模型融合的病理图像分类方法及系统。

背景技术

病理图像分类技术在诸多现实场景中有着广泛的应用，如何构建准确、高效的病理图像分类模型是病理WSI分类和分割技术中的最重要的一步。现有的分类方法主要是基于有监督学习，即先由人工收集大量的目标类别的有标注的训练数据，再用这些训练数据为目标类别构建分类模型。

病理图像以高分辨率捕获肿瘤组织形态学细节，通常是显微镜在x20到x40的放大倍数下获取的，从而生成非常大的二维图像(每个维度10,000至100,000像素以上)，然而，手动检测和表征病理图像中的肿瘤区域是费力且主观的，很难用详尽的方式进行可视化分析，此外，准确的解释可能会很困难。LUAD和LUSC之间的区别并不总是很清楚，特别是在分化较差的肿瘤中，建议进行辅助研究以进行准确分类。病理图像分类结果通常用于诊断肺癌亚型和分期。根据癌症类型、分期应用靶向疗法。

为了协助专家，最近对肺癌全玻片图像的自动分析进行了生存预后和分类研究，并取得了一定的成果，这些方法在实现分类精度方面与训练后的人类标注人员的分类结果相当。尽管如此，由于病理图像的超大分辨率带来的超大图像尺寸和形貌的复杂性带来了各种挑战。

目前基于深度学习的分类方法主要是将大的病理图像切分成若干个小的patch,然后使用经典的CNN网络对小图片进行分类或分割，在这些研究中，例如现有的将输入大小为300×300且权重在ImageNet上预先训练的Inception(V3)架构用于训练CNN模型，来区分正常、肿瘤和背景。又如现有公开可用的GoogLeNet，ResNet-50和AlexNet CNN，这些模型在与数字病理相关的模式识别任务中非常有用，在验证模型的时候，采用了考虑上下文(软投票)方式。CNN通过分别将待预测的中央patch水平，垂直或对角地向中央patch水平移动其长度的1/3生成的八个重叠patch和中央patch进行分类。然后将最终分类结果(这是这九个图块中最频繁检测到的类别)(AC，SO，MP，CR或NT)分配给中央patch,这种方法考虑了小patch周围的信息，分类准确率有了提高。但是在训练过程中未考虑patch周围信息。

有鉴于此，亟需提供一种考虑到patch周围的语义信息器且提高分类准确性的病理图像分类方法。

发明内容

为了解决上述技术问题，本发明所采用的技术方案是提供了一种基于情境感知及多模型融合的病理图像分类方法，包括以下步骤：

获取待识别的病理图像样本，对病理图像样本进行标准化处理；

将标准化处理的病理图像输入预先训练完成的病理图像分类模型，从而获得病理图像分类结果；

其中，病理图像分类模型由两个训练完成的OWM+PFC模型同时连接模型融合模块构成；其中两个训练完成的OWM+PFC模型分别是backbone为inceptionV3和backbone为densenet121的模型；

模型融合模块对所述两个OWM+PFC模型输出的病理分类结果进行求平均得到最终的病理图像的病理分类结果。

在上述方法中，所述病理图像分类模型包括