[发明专利]调整放大输出时的清晰度和细节

说明书

使得能够在放大时调整输入图像的清晰度和细节，包括：在输入图像的亮度通道上应用傅立叶变换函数，以生成2‑D频率图；调整2‑D频率图，以控制放大后的输出图像中的清晰度和细节的目标量；并将调整后的2‑D频率图用作附加输入通道，与标准彩色图像数据一起用于训练和放大处理。

相关申请的交叉引用

本申请依据35U.S.C.§119(e)要求于2018年10月18日提交的标题为“Machine-Learning Based Single Image Upscaling Application for Motion Pictures”的共同未决的美国临时专利申请No.62/747,453的优先权权益。上面引用的申请的公开通过引用并入本文。

技术领域

本公开涉及放大，并且更具体而言，涉及使得能够在放大时调整输入图像的清晰度(sharpness)和细节。

背景技术

机器学习(ML)可以被用于执行图像超分辨率放大。但是，常规的基于ML的训练和放大处理具有一些观察到的问题。例如，除了提供具有期望细节量的更清晰的图像之外，没有对训练和放大处理应当在输出中实现多少清晰度和细节级别的直接控制。因此，对常规的放大处理进行了编程，以使输出图像的质量尽可能地接近参考地表真实(ground truth)图像。如果地表真实图像没有清晰度或细节的优选量，那么训练处理不会添加超出在地表真实图像中包括的现有细节的任何附加细节。

发明内容

本公开提供了用于使得能够在放大时调整输入图像的清晰度和细节。

在一个实施方式中，公开了一种用于使得能够在放大时调整输入图像的清晰度和细节的方法。该方法包括：在输入图像的亮度通道上应用傅立叶变换函数，以生成2-D频率图；调整2-D频率图，以控制放大后的输出图像中的清晰度和细节的目标量；并将调整后的2-D频率图用作附加输入通道与标准彩色图像数据一起用于训练和放大处理。

在一个实施方式中，将调整后的2-D频率图用作附加输入通道，包括将调整后的2-D频率图与标准彩色图像数据一起输入到基于ML的放大器(upscaler)中。在一个实施方式中，亮度(brightness)通道包括输入图像的辉度(luminance)通道。在一个实施方式中，调整2-D频率图包括将增益因子应用于2-D频率图的较高频率区域以生成增强的频率图。在一个实施方式中，该方法还包括使用增强的频率图作为对于清晰度和细节的目标。在一个实施方式中，使用增强的频率图作为目标包括：调整2-D频率图尽可能地接近增强的频率图的目标，以添加更多细节并锐化放大后的输出图像。

在另一个实施方式中，公开了一种用于使得能够在放大时调整输入图像的清晰度和细节的清晰度调整系统。该系统包括：傅立叶变换单元，被配置为在输入图像的亮度通道上应用傅立叶变换函数以生成2-D频率图；以及频率图调整器，被配置为调整2-D频率图以控制放大后的输出图像中的清晰度和细节。

在一个实施方式中，将调整后的2-D频率图与标准彩色图像数据一起馈入基于ML的放大器中。在一个实施方式中，亮度通道包括输入图像的辉度通道。在一个实施方式中，频率图调整器还被配置为将增益因子应用于2-D频率图的较高频率区域以生成增强的频率图。

在又一个实施方式中，公开了一种存储计算机程序以使得能够在放大时调整输入图像的清晰度和细节的非暂态计算机可读存储介质。该计算机程序包括使计算机执行以下操作的可执行指令：在输入图像的亮度通道上应用傅立叶变换函数以生成2-D频率图；调整2-D频率图以控制放大后的输出图像中的清晰度和细节的目标量；并将调整后的2-D频率图用作附加输入通道与标准彩色图像数据一起用于训练和放大处理。