[发明专利]用于生物图像中的联合细胞和区域分类的深度学习系统和方法

说明书

本公开涉及用于训练多层神经网络以从一组训练图像对细胞和区域进行联合且同时分类的自动系统和方法。本公开还涉及用于使用经训练的多层神经网络对未标记图像内的细胞进行分类的自动系统和方法。

优先权

本申请要求于2017年12月7日提交的美国专利申请号62/596036的优先权。

背景技术

数字病理学涉及将整个组织病理学或细胞病理学切片扫描成可在计算机屏幕上解释的数字图像。这些图像随后将由成像算法处理或由病理学家解释。为了检查组织切片(实际上是透明的)，使用选择性结合细胞成分的有色组织化学染色剂制备组织切片。临床医生或计算机辅助诊断(CAD)算法使用颜色增强或染色的细胞结构来识别疾病的形态学标记，并相应地进行治疗。观察该测定可以实现多种过程，包括疾病诊断、对治疗反应的评估、以及研发抗击疾病的新药物。

免疫组织化学(IHC)载玻片染色可以用于识别组织载玻片的细胞中的蛋白质，并且因此广泛地用于对诸如生物组织中的癌性细胞和免疫细胞等不同类型的细胞的研究中。因此，可以在研究中使用IHC染色以理解癌组织中免疫细胞(诸如，T细胞或B细胞)的差异表达的生物标记物的分布和位置以用于免疫应答研究。例如，肿瘤经常包含免疫细胞的浸润液，该浸润液可以防止肿瘤的发展或有利于肿瘤的向外生长。

原位杂交(ISH)可用于寻找遗传异常或病状的存在，例如在显微镜下观察时在形态学上表现为恶性的细胞中特异性地致癌基因扩增。原位杂交(ISH)使用与靶基因序列或转录物反义的标记的DNA或RNA探针分子来检测或定位细胞或组织样品中的靶核酸靶基因。通过将固定在切片上的细胞或组织样品暴露于标记的核酸探针来进行ISH，所述核酸探针能够与细胞或组织样品中的给定靶基因特异性杂交。通过将细胞或组织样品暴露于已经用多个不同核酸标签标记的多个核酸探针，可以同时分析几个靶基因。通过利用具有不同发射波长的标记，可以在单个步骤中对单个靶细胞或组织样品进行同时多色分析。

发明内容

针对对生物样本的数字化组织切片进行图像评分和自动图像分析的问题的传统方法通常涉及对图像(或其区域)中的每个细胞进行细胞检测、细胞分割和特征提取，然后进行细胞分类以及区域分割和分类。本公开提供了一种替代性方法，由此直接使用经训练的多层神经网络直接从所获取的图像对细胞和区域进行联合且同时分类。这样，本公开利用深度学习方法，其中在训练多层神经网络之后自动地检测、分割和分类细胞。在一些实施方案中，使用半自动图像分析方法生成的细胞级数据和区域级数据均被用作训练多层神经网络的基础事实。

在一些实施方案中，现有的基于特征的分割技术可以用于生成细胞轮廓的可靠估计，并且可以用作训练多层神经网络的基础事实。认为的是，手动执行此任务会使样品图像(或其区域)中所有细胞的基础事实测量过程不可行，因为样品图像通常非常大并具有数千个细胞。在一些实施方案中，在基于细胞的分类中有用的特征向量的先验知识被用作附加的输入通道，以进一步辅助多层神经网络提高分类准确性。在一些实施方案中，并非使用用户来对每一个细胞进行基础事实测量，而是首先利用现有的基于特征的解决方案来导出初始细胞标记，并且病理学家或其他医学专业人员浏览初始结果集，并校正已被错误分类的细胞。这种半自动解决方案有助于生成除此之外难以获得的大量细胞基础事实数据和区域基础事实数据。

鉴于前述内容，在本公开的一个方面中，是一种用于训练多层神经网络以检测和分类样品图像(例如，具有一种或多种染色剂的生物样品组织的样品图像)内的不同细胞类型(例如肿瘤细胞、基质细胞、淋巴细胞等)和组织区域(例如肿瘤区域、富含淋巴细胞的区域、基质区域、坏死区域等)的方法，所述方法包括：接收样品图像数据；使用半自动过程来生成组织区域基础事实数据和细胞分类基础事实数据两者；以及使用所生成的基础事实数据来训练多层神经网络；其中，基础事实数据的生成考虑了关于某些类型的组织或区域中是否可能存在某些类型的细胞的先验知识。