[发明专利]基于深度学习的视障辅助的图像增强方法、设备和介质

说明书

本发明提供一种基于深度学习的视障辅助的图像增强方法、设备和介质，包括：将卷积神经网络的输出端与模拟视障患者的视觉系统的输入端进行连接，得到级联系统；对卷积神经网络进行训练得到图像增强网络，其中：将原始图像输入卷积神经网络进行增强，将增强结果输入模拟视障患者的视觉系统进行模拟，级联系统输出为该视障症状的模拟的感知图像；计算级联系统输出和原始图像的损失，以最小化级联系统的输入输出图像间的差异为目标，对原始图像进行增强以补偿模拟的视障患者的视觉系统带来的失真。本发明得到的图像增强网络能有效地实现针对视障辅助的图像增强，实验表明针对中心视力下降的图像增强能有效改善患者的视觉功能和主观感知质量。

技术领域

本发明涉及多媒体图像增强和视障辅助领域，具体地，涉及一种基于深度学习的视障辅助的图像增强方法、设备和介质。

背景技术

视觉障碍是全世界面临的一个严重的社会和公共卫生问题。世界卫生组织2019年发布的数据显示，全球至少有22亿人面临视觉障碍或失明的问题。绝大多数视障患者来自发展中国家，且主要为50岁以上人群。中国作为世界上最大的发展中国家，老龄化进程最快、规模最大的国家，受到的影响尤为严重。视障患者在工作、生活等各方面均面临较大问题，不仅给患者自身带来了较大的精神压力，导致其幸福指数大幅下降；其所需的医疗及日常服务也会给家庭及社会带来较大的负担。

造成视觉障碍的主要病因有未经矫正的屈光不正、白内障、年龄相关性黄斑变性、青光眼、糖尿病性视网膜病变等。不同的疾病会导致不同的视障症状，显然，若想达到最佳的辅助效果，需要针对不同的视障症状设计不同的图像增强算法。然而，视障患者通常有不止一种视障症状。其中，最常见的症状是由于视敏度下降和对比敏感度下降导致的中心视力下降，几乎所有的视障患者都有着不同程度的中心视力下降。因此，针对补偿中心视力下降的图像增强算法能够帮助绝大多数患者。

针对中心视力下降的图像增强算法大致可以分为两类：专用于补偿患者中心视力下降的图像增强算法和使用通用图像处理算法实现补偿的方法。近年来，不少学术界和工业界团队开始致力于在图像增强算法的基础上研发视障辅助设备，但是受限于理论和技术等，这些辅助设备的效果难以满足视障患者的实际需求，因此也无法大规模投入商用。

专用于补偿患者中心视力下降的图像增强算法最早可追溯到Peli及Peli提出的自适应图像增强方法(Adaptive Enhancement)，通过放大图像中的高频内容，并将低频内容向中间灰度值压缩，在补偿患者高频对比敏感度下降的同时避免了灰度值饱和。Peli等人在《Eli Peli,Jeonghoon Kim,Yitzhak Yitzhaky,Robert B Goldstein,and Russell LWoods,“Wideband enhancement of television images for people with visualimpairments,”Journal of the Optical Society of America A,vol.21,no.6,pp.937–50, 2004.》中提出了宽带增强方法(Wideband Enhancement)，首先利用基于人眼视觉特性的特征检测算法提取图像中边缘、棱角等的双极性特征，然后将特征缩放后叠加到原图上以实现图像增强。Tang等人和Kim等人分别针对JPEG压缩图像和 MPEG压缩视频，通过在解压缩阶段修正量化矩阵中对应于关键频率范围(3～7 cycles/degree)的区域中的元素，实现了针对视障辅助的图像或视频增强。

通用的图像处理算法，如图像二值化、非锐化掩蔽(unsharp masking)、使用通用高通滤波器提取图像边缘并叠加回原图等能够增强图像的对比度或高频内容，因此对视障患者高空间频率的对比敏感度下降有一定的补偿作用，也是针对中心视力下降的图像增强算法的一种思路。