[发明专利]提高弱光图像的质量的方法、系统和计算机可读介质

说明书

在实施方案中，方法包括：接收弱光数字图像；由至少一个处理器通过用编码器‑解码器神经网络对弱光数字图像进行处理，生成结果的数字图像，所述编码器‑解码器神经网络包括多个卷积层和多尺度上下文聚合块，所述多个卷积层被分类为降采样阶段和升尺度阶段，所述多尺度上下文聚合块被配置成聚合所述弱光数字图像的多尺度上下文信息并且是在所述降采样阶段和所述升尺度阶段之间被采用的；以及通过所述至少一个处理器，将所述结果的数字图像输出至输出设备。

相关申请的交叉引用

本申请要求于2018年9月6日提交的名称为“METHOD,SYSTEM,AND COMPUTER-READABLE MEDIUM FOR IMPROVING QUALITY OF LOW-LIGHT IMAGES”的美国申请No.62/728,010的优先权。

本公开内容的背景

1.技术领域

本公开涉及图像处理领域，更特别地，涉及一种用于提高弱光图像的质量的方法、系统和计算机可读介质。

2.背景技术

由于低信噪比(signal-to-noise ratio，SNR)，在弱光照条件下拍摄具有良好感知质量的图像极具挑战性。延长曝光时间可以获得在视觉上看起来良好的图像，但是这可能容易引入运动模糊，并且在实际生活中并不总是适用。

为了使短曝光时间的弱光图像在视觉上看起来合理，已经进行了广泛的研究，包括旨在去除图像中由于弱光照条件而存在的噪声的降噪技术，以及为了提高数字图像的感知质量而开发的增强技术。

然而，目前的降噪方法往往通过使用合成数据来评估，其不能很好地推广到真实图像，而且弱光增强方法没有考虑噪声。

发明内容

本公开的目的是提出用于提高弱光图像的质量的方法、系统和计算机可读介质。

在本公开的第一方面中，一种方法包括：

接收弱光数字图像；

由至少一个处理器通过用编码器-解码器神经网络对弱光数字图像进行处理，生成结果的数字图像，该编码器-解码器神经网络包括多个卷积层和多尺度上下文聚合块，该多个卷积层被分类为降采样阶段和升尺度阶段，该多尺度上下文聚合块被配置成聚合弱光数字图像的多尺度上下文信息并且是在降采样阶段和升尺度阶段被采用的；以及

通过至少一个处理器将结果的数字图像输出至输出设备。

根据与本公开的第一方面结合的实施例，在接收弱光数字图像之前，该方法还包括：

接收数字图像；

确定数字图像的对比值、动态范围以及信噪比(SNR)中的至少一项是否低于阈值；以及

响应于确定出数字图像的对比值、动态范围以及SNR中至少一项低于阈值，确定数字图像是弱光数字图像。

根据与本公开第一方面结合的实施例，编码器-解码器神经网络包括U-net架构。

根据与本公开第一方面结合的实施例，生成结果的数字图像包括：

在降采样阶段，每隔几个卷积层之后执行池化操作；以及

在升尺度阶段，每隔几个卷积层之前执行升尺度操作。

根据与本公开第一方面结合的实施例，生成结果的数字图像包括：将降采样阶段的卷积层与升尺度阶段和降采样阶段的卷积层具有相同分辨率的卷积层串联。

根据本申请实施例第一方面提供的方法，生成结果的数字图像包括：通过多尺度上下文聚合块的全局池化层，提取弱光数字图像的全局上下文信息；以及通过具有多尺度上下文聚合块的各种膨胀率的多个膨胀层，以不同尺度提取弱光数字图像的上下文信息。