[发明专利]基于深度学习的视障辅助的图像增强方法、设备和介质

权利要求书

1.一种基于深度学习的视障辅助的图像增强方法，其特征在于，包括：

设计一个用于图像增强的卷积神经网络，将所述卷积神经网络的输出端与模拟视障患者的视觉系统的输入端进行连接，得到级联系统；

对所述卷积神经网络进行训练得到图像增强网络，所述图像增强网络能实现针对该视障症状的图像增强；

其中：对所述卷积神经网络进行训练得到图像增强网络，包括：

将原始图像输入所述卷积神经网络进行增强，将增强结果输入所述模拟视障患者的视觉系统进行模拟，所述模拟视障患者的视觉系统输出为该视障症状的模拟的感知图像，也是所述级联系统的输出；

计算所述模拟视障患者的视觉系统输出和所述原始图像的损失，以最小化所述级联系统的输入输出图像间的差异为目标，对原始图像进行增强以补偿模拟的视障患者的视觉系统带来的失真。

2.根据权利要求1所述的基于深度学习的视障辅助的图像增强方法，其特征在于，所述将增强结果输入所述模拟视障患者的视觉系统进行模拟，是指：利用图像处理操作对输入的原始图像进行处理，得到模拟的视障患者眼中看到的图像即模拟的感知图像。

3.根据权利要求1所述的基于深度学习的视障辅助的图像增强方法，其特征在于，所述设计一个用于图像增强的卷积神经网络，其中，采用基于UNet的结构的卷积神经网络；

在标准UNet结构的基础上，在每层的卷积和ReLU中间加上批归一化(BN)，并在卷积神经网络的最后一层加上Sigmoid激活函数得到图像增强网络。

4.根据权利要求1所述的基于深度学习的视障辅助的图像增强方法，其特征在于，所述以最小化所述级联系统的输入输出图像间的差异为目标，是指：

设所述级联系统的输入图像为I，所述级联系统训练的目标是训练图像增强网络，使得通过所述卷积神经网络增强后图像，通过模拟的视觉系统后得到的图像和输入的原始图像尽可能接近，即模拟的视障患者眼中看到的图像和原始图像尽可能接近。

5.根据权利要求1所述的基于深度学习的视障辅助的图像增强方法，其特征在于，当所述视障患者为中心视力下降的患者时，所述图像增强方法包括：

S1：对中心视力下降患者的视觉系统进行模拟，即对输入图像进行处理操作得到模拟的中心视力下降者的感知图像；

S2：设计一个能够实现图像增强的卷积神经网络，所述卷积神经网络使用基于UNet的网络结构；

S3：将S2中的所述卷积神经网络和S1中模拟的视觉系统连接得到级联系统，然后利用相同的高清图像作为级联系统的输入输出进行所述卷积神经网络训练，训练好的所述卷积神经网络作为图像增强网络；

S4：将待增强的图像输入S3训练好的所述图像增强网络，实现针对中心视力下降的图像增强。

6.根据权利要求5所述的基于深度学习的视障辅助的图像增强方法，其特征在于，所述S1中，利用基于临床测量指标Pelli-Robson得分和logMAR视力的近似对比敏感度函数和人眼的多频带分解特性对中心视力下降进行模拟，包括：

首先将待模拟图像分解到各个空间频带上，然后分别求出各个空间频带上图像的局部带限对比度，与中心视力下降患者的对比度检测阈值进行比较，即得到其各个空间频带上的可见内容，最后将这些可见内容合并即为模拟的感知图像。