[发明专利]一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质

说明书

本发明实施例涉及一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质。方法包括：获取被表示在第一图像域中、待被迁移到第二图像域的眼底图像，第一图像域与第二图像域具有不同的成像参数；以及将眼底图像输入循环生成对抗网络的一生成器，以生成被表示在第二图像域中的目标图像，循环生成对抗网络由镜像对称的两个生成对抗网络组合形成并且生成器为两个生成对抗网络经对抗训练而得到的最优生成器。本发明实施例还提供构建循环生成对抗网络以及优化其生成器和鉴别器的方案。通过本发明实施例，实现了不同眼底相机设备采集的眼底图像之间的整体轮廓风格迁移。

技术领域

本发明总体上涉及眼底图像处理领域，具体涉及一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质。

背景技术

视网膜眼底图像被眼科医生广泛地用于糖尿病视网膜病变、老年性黄斑变性和青光眼等常见视网膜疾病的早期检测和诊断。随着科学技术的迅速发展，基于视网膜图像的自动化分析越来越成为早期发现眼科疾病的重要筛选工具。在自动化眼底疾病筛查算法中，眼底图像中病灶区域的标注对自动化筛查算法的实现具有重要意义。然而，目前的视网膜疾病筛查算法所用的眼底图像基本上是基于台式眼底图像进行的标注。传统的台式眼底相机体积庞大、结构复杂且价格昂贵，要求病人直立端坐，这对于卧床不起以及偏远地区的病人来说是非常困难的。

近年来，手持式眼底相机因其轻巧便携、价格低廉等优势而迅速获得医生和家庭的青睐。但是由于手持式设备缺少专业的标注数据、图像数据量较少，并且手持式眼底图像和台式眼底图像在亮度、颜色、模糊程度等各方面成像较大的差异，使得基于手持式眼底图像的自动化疾病筛查系统目前难以实现。所期望的是，提供一种能够使得视网膜眼底图像在不同眼底设备之间风格迁移的方案。

发明内容

针对上述问题，本发明的实施例提供一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质，实现了视网膜眼底图像在不同眼底设备之间风格迁移。

在本发明的第一方面，提供一种用于将视网膜眼底图像在不同图像域中迁移的方法。该方法包括：获取被表示在第一图像域中、待被迁移到第二图像域的眼底图像，第一图像域与第二图像域具有不同的成像参数；以及将眼底图像输入循环生成对抗网络的一生成器，以生成被表示在第二图像域中的目标图像，循环生成对抗网络由镜像对称的两个生成对抗网络组合形成并且生成器为两个生成对抗网络经对抗训练而得到的最优生成器。

在某些实施例中，方法还包括：构建循环生成对抗网络，循环生成对抗网络包括第一生成器和第二生成器以及第一鉴别器和第二鉴别器；接收训练图像集，训练图像集包括被表示在第一图像域中的第一眼底图像集和被表示在第二图像域中的第二眼底图像集；以及利用两个生成对抗网络和用于对眼底图像分割视杯视盘的目标检测器，对第一眼底图像集和第二眼底图像集进行处理，以优化第一生成器、第二生成器、第一鉴别器和第二鉴别器。

在某些实施例中，对第一眼底图像集和第二眼底图像集进行处理包括：将第一眼底图像集中的第一眼底图像输入由第一生成器、第二生成器和第一鉴别器构成的第一生成对抗网络以对第一眼底图像进行处理，并且将第二眼底图像集中的第二眼底图像输入由第二生成器、第一生成器和第二鉴别器构成的第二生成对抗网络以对第二眼底图像进行处理；计算第一生成对抗网络的第一鉴别器损失函数和第一生成器损失函数以及第二生成对抗网络的第二鉴别器损失函数和第二生成器损失函数；以及基于第一鉴别器损失函数和第一生成器损失函数以及第二鉴别器损失函数和第二生成器损失函数，调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数。

在某些实施例中，将第一眼底图像输入第一生成对抗网络进行处理包括：通过第一生成器将第一眼底图像转换为第一目标图像，第一目标图像为第一眼底图像在第二图像域中的表示；通过第二生成器将第一目标图像转换为第一重构图像，第一重构图像为第一目标图像在第一图像域中的表示；以及通过第一鉴别器对第一目标图像和第二眼底图像进行鉴别，以判断第一目标图像是否被真实表示在第二图像域中。