[发明专利]对组织切片图像的虚拟染色

说明书

训练机器学习预测器模型以从未染色或用HE染色的输入图像中生成用特殊染色剂(诸如IHC染色剂)染色的组织样品的显现的预测。训练数据采用成千上万精确对齐的图像对的形式，所述图像对中的一个是用HE染色或未染色的组织样本的图像，而另一个是用特殊染色剂染色的组织样本的图像。可以训练模型以预测大量不同组织类型和特殊染色类型的特殊染色图像。在使用中，将输入图像、例如以特定放大率级别的给定组织样本的HE图像提供给模型，并且该模型产生对组织样本的显现的预测，就好像其用特殊染色剂染色一样。预测的图像被提供给用户并显示在例如病理工作站上。

背景技术

本公开涉及一种从组织样本的输入图像中产生具有被(一个或多个)具体的特殊染色化学品(诸如免疫组织化学染色剂)染色的显现的组织样本的人造或虚拟图像的方法。输入图像可以是组织样本的未染色的图像，或者可以是被第一染色剂(通常是苏木精和曙红(Hematoxylin and Eosin，HE))染色的组织样本的图像。

组织学组织图像通常用HE染色以突出组织形态，称为“常规染色”的一种过程。存在更特定的染色剂(在本领域中称为“特殊染色剂”(例如，免疫组织化学染色剂(Immunohistochemical Stains，IHC))用以突出特定的靶标(例如，非常特定的肿瘤标志物或细胞或组织结构)。宽松地说，这可以看作是非常特定的图像重新着色。特殊染色剂的示例包括用于检测乳腺癌样本中特定基因突变标志物的HER2染色剂、用于前列腺样品的PIN4(也称为“前列腺三重染色剂”(P504S、HMW角蛋白、P63))、用于肺癌组织的Verhoeff染色剂和用于淋巴结组织的CK7和AE1/AE3混合液染色剂。

由于染色剂本身的成本(其中一些染色剂本身的成本比HE染色剂的价格昂贵五倍)和劳动和设备的成本，因此相对昂贵来获得用特殊染色剂染色的组织样本的图像。另外，通常没有足够的组织可用于病理医生可能想获取的用于诊断的所有染色图像，通常每个染色图像都需要从一块组织中的分离的一片组织。获取其他特殊染色图像通常也需要花费大量额外时间。因此，在某些情况下，例如在肺癌中，希望获得用许多不同的IHC染色剂染色的样本的图像，但是，如果不获得进一步的活检，获得这样的图像既昂贵又可能无法实现，或者无论如何都会导致诊断的延迟。本公开的方法解决并且优选地克服了这些限制中的一个或多个。我们公开了如何从组织样本的输入图像对于一套特殊染色剂生成虚拟特殊染色的图像。输入的图像可能是未染色的，或者是用普通的HE染色剂染色的。

该方法旨在具有应用和益处，包括以下一个或多个：(1)减少所需要的实际染色的数量，从而降低成本并消除获取额外特殊染色的图像的额外延迟，(2)为病理医生提供实际的特殊染色的图像或特殊染色的图像组的可能的显现预览，用于病理医生决定他们需要订购什么图像；以及(3)提供可视化和解释以补充其他预测(诸如针对组织样品的肿瘤检测、分类或预测)。

在本文档中，术语“特殊染色剂”定义为表示除了苏木精和曙红(HE)以外的、用于帮助可视化和/或识别在生物样本中的结构和物质的染色剂。这些包括其中的免疫组织化学染色剂(诸如用于检测乳腺癌样本中特定基因突变标记的HER2染色剂、用于前列腺样品的PIN4和“前列腺三重染色剂”(P504S、HMW角蛋白、P63)、以及用于淋巴结组织的CK7染色剂)以及在病理学中使用的其他类型的染色剂(包括但不限于用于分枝杆菌的耐酸染色剂、用于淀粉样蛋白的刚果红、用于细菌的革兰氏染色剂(多种方法)、用于真菌的Grocott的甲基苯二胺银(Grocott’s Methenamine Silver，GMS)、用于基底膜和中膜的Jones甲基苯丙胺银、用于脱髓鞘的Luxol固蓝PAS、用于胶原蛋白和肌肉的Masson三色、高碘酸Schiff(Periodic Acid-Schiff，PAS)、用于纤维蛋白的磷钨酸苏木精(Phosphotungstic Acid-Hematoxylin，PTAH)、用于三价铁的普鲁士蓝、用于脂质和脂质染料的苏丹黑、用于弹性蛋白的Verhoeff染色剂、以及用于细菌的Warthin-Starry染色剂)。

发明内容