[发明专利]用于将全息显微图像转换成各种模态的显微图像的系统和方法

说明书

经训练的深层神经网络将利用全息显微镜获得的样本的图像转换成与利用具有不同显微图像模态的显微镜获得的显微图像基本上类似的图像。不同成像模态的示例包括明场、荧光和暗场。对于明场应用，深度学习将明场显微术对比度带入样本的全息图像、将全息术的体积成像能力与明场显微术的无散斑和无伪影图像对比度联系起来。利用全息显微镜获得的全息显微图像被输入到经训练的深层神经网络中，以执行从与样本体积内的特定深度相对应的数字反向传播全息图到与利用具有不同显微图像模态的显微镜在相同特定深度获得的样本的显微图像类似的图像的跨模态图像转换。

相关申请

本申请要求于2018年11月15日提交的美国临时专利申请号62/768,040的优先权，其全部内容通过引用结合于此。根据35U.S.C.§119和任何其他适用法规要求优先权。

关于联邦资助的研发的声明

根据国家科学基金会授予的基金号码1533983，本发明由政府资助。政府对这项发明具有一定的权利。

技术领域

本技术领域通常涉及用于将全息图像转换成与使用其他显微成像方式获得的图像(例如包括非相干明场、荧光和暗场显微图像)类似的图像的方法和系统。

背景技术

数字全息显微术能够在没有任何机械扫描的情况下，从单次全息测量重建体积样本。然而，对于大多数实际应用来说，全息图像无法与非相干明场显微镜的无散斑和无伪影图像对比度相匹配。这些全息伪像中的一些包括与丢失的相位信息有关的孪生像和自干涉噪声，而由于照明源的长相干长度/直径而出现额外的伪像，这产生了来自光束路径内的离焦或不需要的物体/表面的散斑和背景干涉。另一方面，因为相干成像系统的点扩散函数沿横向和轴向都具有非递减的波纹，所以离焦对象将在全息重建中产生与对焦对象重叠的干涉条纹，这在重建体积样本时降低了图像对比度。使用不同的全息重建方法，有时也使用额外的测量以可以部分地缓解这些问题。然而，需要额外的方法和系统来提高用全息显微镜获得的图像的图像质量和有用性，而无需额外的测量和复杂的重建算法。

发明内容

在一个实施例中，描述了一种系统和方法，该系统和方法使用由使用计算装置的软件执行的经训练的深层神经网络，来执行从与样本体积内给定深度相对应的数字反向传播全息图(或原始全息图)到基本上与在相同深度获取的不同显微图像模态类似的图像的跨模态图像转换。在一个实施例中，不同的显微图像模态是明场、荧光和暗场显微图像中的一种。因为单个全息图用于数字地传播到样本体积内的不同部分或平面(例如，高度)，以虚拟地生成基本上与每个部分的不同显微图像模态类似的图像，所以该方法将数字全息术的体积成像能力与明场显微术(或者在其他实施例中的荧光显微术或暗场显微术)的无散斑和无伪影图像对比度联系起来。在其训练之后，深层神经网络学习全息成像系统与期望的不同显微图像模态(例如，在一个特定实施例中的非相干明场显微镜)之间的统计图像转换。在这方面，深度学习通过融合全息与非相干明场成像模式的优势，将两界的优点结合在一起。

用全息或干涉显微镜获得的全息显微图像输入到经训练的深层神经网络，以执行从与样本体积内特定深度相对应的数字反向传播全息图到与利用在相同深度获得的不同显微图像模态获得的图像类似的图像的跨模态图像转换。在本发明的一个优选方面，不同的显微图像模态是明场显微图像。全息术与明场显微术之间的该深度学习使能图像转换取代了机械扫描体积样本的需求。此外，可以使用经训练的深层神经网络将使用全息显微镜获得的单个单色图像转换成具有与等效明场图像基本相同的颜色分布的彩色图像。