[发明专利]基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统

说明书

本公开的实施例包括一种方法、设备和计算机可读介质，涉及接收图像数据以检测组织病变，通过至少一个第一卷积神经网络传递图像数据，分割图像数据，融合分割的图像数据，以及检测组织病变。

相关申请的交叉引用

本申请要求于2019年10月31日向美国专利商标局提交的美国专利申请第16/670,321号的优先权，在先申请的全部内容通过引用并入本文。

背景技术

近来，已经提出了不同的计算机辅助诊断(Computer-Aided Diagnosis,CAD)系统，以从医学图像中自动或半自动地分类、检测和分割组织病变。提出的这种系统可以帮助医生增加他们的处理量并提高诊断质量。一些全自动系统也可以单独工作，以进行预诊断或提供第二意见。这种系统还可以降低医疗成本并改善患者的健康。

传统的CAD系统是基于人类设计的算法和规则设计的。这种系统提供了简单的解释但性能有限。最近，CAD系统已经包括集成机器学习模型，例如，卷积神经网络(Convolutional Neural Networks，CNN)或其它深度学习方法。机器学习模型需要大量的训练。然而，一旦存在足够的训练数据，具有集成的机器学习模型的CAD系统可以给出专家级诊断，并且有时甚至可以胜过人类专家。

然而，大多数现有CAD系统直接采用为非临床任务(例如，手写检测或照片分类)设计的机器学习模型。目前还没有设计用于在显微镜下检测组织病变的CAD系统。

医生需要来自CAD系统的实时响应。然而，难以实时处理具有高分辨率的大图像。

此外，医生通常首先以小幅度(例如4x幅度)检查组织图像，然后切换到更高的变焦透镜(例如10x、20x和40x幅度)，从而以更高的细节水平(分辨率尺度)检查组织图像。诊断通常基于不同尺度的融合信息。现有系统无法融合不同尺度的信息进行诊断。

当整块组织太大而不能在显微镜下单次检查时，医生必须来回移动切片以检查其中的不同部分。没有现有系统旨在融合这种全局信息。

通常，CNN处理的图像基于局部特征，这对于组织图像而言可能是混乱的。例如，细胞核的暗斑是癌细胞的特征。然而，由于处理的差异，一些切片的斑点可能整体较暗。然而，通过仅查看局部信息，医生难以对这些切片做出正确的决定。

此外，典型的CNN对图像中物体的大小敏感，而同一对象(例如，细胞核)的大小以不同的幅度变化。提出的解决这个问题的一种方案是为每个分辨率训练单独的CNN模型。然而，这将显著地增加模型的大小和计算成本。提出的另一种方案是融合不同幅度的训练样本，并针对不同分辨率训练一个模型。然而，这种方法会降低CNN的性能。

本文公开的内容解决了上述问题，并提出了一种从显微图像检测细胞级组织病变的有效系统。此外，本公开提出了一种修改的CNN，以在进行计算时实现全局信息的集成。此外，这种修改的CNN利用单个模型独立地处理不同的分辨率，以便降低计算成本而不降低性能。

发明内容

本文公开了一种自动检测显微镜图像上的病变的CAD系统。系统可以将放大的组织图像(例如，MSI或WSI)作为输入，并自动处理图像，以识别图像上的病变或异常组织(例如癌细胞)。系统可分割病变区域并将病变分类为亚型。与传统系统不同，这里公开的系统可以分层处理图像，并且能够融合来自不同尺度的信息。所公开的系统也符合医生和病理学家的普遍做法：通过切换镜头的放大倍数来检查不同尺度的组织。

根据实施例的一个方面，提供了一种检测组织病变的方法，包括：从用户界面接收图像数据，所述图像数据包括原始图像数据；通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，分析所述第二图像分割数据，从而检测存在的组织病变。