[发明专利]用于提供超分辨率成像的准确度的反馈并改进超分辨率成像的准确度的系统、装置和方法

说明书

用于反馈和改进超分辨率成像的准确度的系统、方法和计算机可读媒介。在一些实施例中，可以使用显微镜检查系统的低分辨率物镜获得样品的低分辨率图像。可使用超分辨率图像模拟，根据样品的低分辨率图像生成样品的至少一部分的超分辨率图像。随后，可以基于超分辨率图像与使用模拟图像分类器识别的一个或更多个相关样品的至少一部分的一个或更多个实际扫描的高分辨率图像之间的一个或更多个等价程度来识别超分辨率图像的准确度评估。基于超分辨率图像的准确度评估，可以确定是否进一步处理超分辨率图像。如果确定进一步处理超分辨率图像，则可进一步处理超分辨率图像。

相关申请的交叉引用

本申请要求2018年7月3日提交的美国专利申请No.16/027,056的优先权，其全部内容通过引用并入本文。

技术领域

本公开涉及提供关于超分辨率成像的准确度的反馈并涉及改进超分辨率成像的准确度。

背景技术

检查材料的一致性和检测异常在从制造到科学到生物学的各学科中都是重要的。检查通常采用显微镜检查系统来检验和测量样品。如本文所用的样品指检验对象(例如，晶片、基片等)，并且伪影指样品、样品的一部分、样品中的特征、样品中的异常和/或样品中的缺陷。例如，伪影可以是诸如晶体管、电阻器、电容器、集成电路、微芯片等的电子器件，诸如癌细胞的生物异常，或大块材料中的诸如裂纹、划痕、碎片等的缺陷。

显微镜检查系统可以用于增强肉眼可以看到的东西。具体地，显微镜检查系统可以通过增加人们可以看到的细节的量(例如，光学分辨率)来放大对象，例如，特征和异常。如本文所用，光学分辨率指样品上仍可被区分为两个单独点的两个点之间的最小距离，所述两个单独点仍可被人感知为单独点。光学分辨率可受物镜的数值孔径以及其他参数的影响。通常，物镜的数值孔径越高，则可以用该物镜获得的样品的分辨率越好。单个显微镜检查系统可以具有多于一个的物镜，其中每个物镜都具有不同的分辨能力。较高分辨率的物镜通常比较低分辨率的物镜捕获更多细节。然而，较高分辨率的物镜，例如由于它们较小的视场，通常比较低分辨率的物镜花费长得多的时间来扫描样品。

为了获得较高分辨率的图像(诸如根据较高分辨率的物镜捕获的图像或使用超分辨率技术创建的图像)而不牺牲速度，可以使用人工智能模型根据低分辨率图像推断和模拟超分辨率图像。可以实现这样的方法，而不是使用较高分辨率的物镜实际扫描样品，而是通过使用样品的低分辨率图像的全部或一部分，例如在低分辨率图像中检测到的伪影。这些方法在本文中将可交换地称为超分辨率、超分辨率模拟、超分辨率生成、高分辨率模拟，并且由这些方法产生的图像在本文中将可交换地称为超分辨率图像和例如使用高分辨率模拟来模拟的高分辨率图像。如本文所使用的超分辨率图像可以包括以大于显微镜系统的分辨率极限的分辨率创建的图像。具体地，超分辨率图像可以包括分辨率超过给定的显微镜系统的衍射极限的图像或以超过给定的显微镜系统的数字图像传感器的极限而创建的图像。如本文所使用的超分辨率图像还可以包括在给定的显微镜系统的分辨率极限内，但以比低分辨率图像高的分辨率模拟的图像(例如，超分辨率图像可以是以显微系统能够成像的最高分辨率模拟的图像)。

然而，并非所有在低分辨率下可检测的伪影都是用于生成准确的超分辨率图像的良好候选。例如，使用低分辨率放大率检测的伪影可以对应于通过高分辨率放大率检测的许多伪影，并且在没有附加信息(在伪影的低分辨率图像中可能缺少该附加信息)的情况下，可能无法例如使用高分辨率模拟来生成低分辨率图像的准确超分辨率图像。

因此，期望提供用于提供反馈的新机制，所述反馈关于在低分辨率放大率下发现的哪些伪影适于生成超分辨率图像或哪些伪影不适于生成超分辨率图像。此外，期望改进所生成的超分辨率图像的准确度。

发明内容