[发明专利]用于多类图像分割的深度多放大率网络

说明书

本文描述了深度多放大率网络(DMMN)。多类组织分割架构处理来自多个放大率的一组面片以进行更准确的预测。对于有监督训练，可以使用部分标注来减轻标注者的负担。具有多编码器、多解码器和多连结的分割架构在乳房数据集上优于其他分割架构，并且可以用于便于病理学家对切缘样品中乳腺癌的评估。

相关申请的交叉引用

本申请要求于2019年10月2日提交的题为“Deep Multi-Magnification Networksfor Multi-Class Breast Cancer Image Segmentation”的美国临时专利申请62/909,401的优先权权益，该临时专利申请通过引用以其全部内容结合于此。

背景技术

计算机视觉算法可以用于识别和检测数字图像上的各种特征。由于生物医学图像可能具有巨大的分辨率和大小，因此对生物医学图像上的特征的检测可能消耗大量的计算资源和时间。

发明内容

乳腺癌是美国女性最常见的癌症之一。分析外科手术的切缘状态对于评估外科手术表现是重要的，并且涉及乳腺癌患者的未来治疗。病理学家检查具有感兴趣切缘的载玻片来手动进行组织分析。数字病理学已经提供了数字化载玻片和生成全切片图像的方法。计算病理学使得能够自动分析全切片图像以帮助病理学家，尤其是随着深度学习的进步。全切片图像通常包含千兆像素的数据，因此在全切片级处理图像是不切实际的。大多数当前的深度学习技术在面片级(patch-level)处理图像，但是通过以单个放大率查看具有窄视场的各个面片，它们可能会产生较差的结果。

本文中提出了深度多放大率网络(DMMN：Deep Multi-Magnification Network)，从而类似于病理学家用其显微镜查看切片的方式。多类组织分割架构处理来自多个放大率的一组面片以进行更准确的预测。对于有监督训练，可以使用部分标注来减轻标注者的负担。具有多编码器、多解码器和多连结的分割架构在乳房数据集上优于其他分割架构，并且可以用于便于病理学家对切缘样品中乳腺癌的评估。

本公开文本的至少一个方面涉及使用多放大率编码器-解码器连结网络分割生物医学图像的系统和方法。具有一个或多个处理器的计算系统可以识别从组织病理学图像制备器得出的生物医学图像。生物医学图像可以被划分成多个图块。多个图块中的每个图块可以对应于生物医学图像的一部分。计算系统可以从生物医学图像的多个图块中的至少一个图块使用对应的多个放大倍数创建多个面片。多个面片可以具有：多个放大倍数中的第一放大倍数的第一面片，多个放大倍数中的第二放大倍数的第二面片，以及多个放大倍数中的第三放大倍数的第三面片。

另外，计算系统可以将分割模型应用于来自至少一个图块的多个面片。分割模型可以包括用于对应的多个放大倍数的多个网络。多个网络可以包括用于第一放大倍数的面片的第一网络。第一网络可以具有第一组编码器和第一组解码器，以用于将第一面片变换成第一放大倍数的第一组特征图。第一组中的每个解码器可以具有连结器(concatenator)，以组合来自连续网络的特征图。多个网络可以包括用于第二放大倍数的面片的第二网络。第二网络可以具有第二组编码器和第二组解码器，以用于将第二面片变换成第一放大倍数的第二组特征图。第二组中的每个编码器可以将输出特征图馈送到第一网络中的第一组中的对应解码器的连结器。多个网络可以包括用于第三放大倍数的面片的第三网络。第三网络可以具有第三组编码器和第三组解码器，以用于将第二面片变换成第三放大倍数的第三组特征图。第三组中的至少一个编码器可以将输出特征图馈送到第一网络中的第一组中的对应解码器的连结器。计算系统可以使用由分割模型的多个网络中的第一网络输出的第一组特征图来生成对应于第一放大倍数的至少一个图块的经分割的图块。