[发明专利]电子装置、方法、以及计算机程序

说明书

一种方法，包括：使用退化数据以及较高质量参考数据来训练预训练的人工神经网络，以获得适配的人工神经网络。

技术领域

本公开整体涉及图像与视频处理的技术领域，具体地，涉及用于图像升级的装置、方法、以及系统。

背景技术

在许多应用中，捕获具有意想不到的特性的图像或视频数据，如分辨率太低。这可能由于传感器缺陷-如透镜误差-或对传感器的价格限制、或有时由于传输处理中的损失(例如，如果视频带宽要求使用压缩)。例如，在许多情况下，通过相机或其他方式(例如，NMR、CT、X射线等)捕获的图像由于例如透镜误差而并不具有关于分辨率或像差的所需特性。

存在用于改善图像的升级技术。例如，已知从同一情景的多个重叠的低分辨率帧提供高分辨率图像。在显示装置处，恢复或显示改善版本的图像，例如，较高分辨率的图像、未失真的图像等。例如，在视频技术中，数字图像的放大被称为升级或分辨率增强。通过增强，产生具有更高分辨率的更清晰图像。

还已知使用用于图像增强或升级的预训练的深度神经网络。利用输入处的低质量图像和其输出处的高质量图像对网络进行训练、并且学习两个图像之间的映射。通常，在图像对的大型数据库的线下完成。由于通常需要较多的数据来实现高水平的鲁棒性，所以该处理花费大量的时间进行处理。

尽管存在用于改善图像的图像升级技术，然而，希望提供在图像升级中提供改善质量的装置、方法、以及计算机程序。

发明内容

通常希望提供在图像升级中提供改善质量的装置、方法、以及计算机程序。

根据第一方面，本公开提供一种计算机实现方法，该方法包括：预训练的人工神经网络，使用较高质量参考数据以及较低质量数据获得适配的人工神经网络。

根据又一方面，本公开提供一种电子装置，包括：被配置为通过利用适配的人工神经网络将退化的图像映射至改善的图像来从退化的图像创建改善的图像的电路，其中，通过使用退化数据以及较高质量参考数据对预训练的人工神经网络进行训练来获得适配的人工神经网络。

从属权利要求、下列描述、以及附图中阐述了进一步的方面。

附图说明

通过参考所附附图的实施例对实施方式进行说明，其中：

图1描述由内窥镜拍摄高质量视频数据并且通过带宽限制的PowerLAN连接将该视频数据发送至手术监控室来使高质量视频数据退化的手术室；

图2描述接收高质量视频数据及对应的退化的图像数据的预训练的DNN的适配步骤，其中，DNN计算发生在服务器中；

图3示出描述图2中所示的预训练DNN的适配处理的流程图；

图4示出描述图2和图3中所示的适配步骤发生之后的适配的DNN的操作的流程图；

图5描述接收高质量视频数据及对应的退化的图像数据的预训练的DNN的适配步骤，其中，DNN计算发生在云计算系统中；

图6示出描述图5中所示的预训练DNN的适配处理的流程图；

图7示出描述图5和图6中所示的适配步骤发生之后的已适配DNN的操作的流程图；

图8a至图8c示意性地示出预训练、适配、以及操作DNN的实施方式；

图8d示出图8a至图8c中所示的步骤的流程图；

图9示意性地示出通过使改善的图像与目标图像对准来执行适配步骤的DNN的处理；

图10示出描述执行梯度下降步骤的DNN的适配步骤的流程图；以及

图11示意性地描述可以实现人工神经网络的功能的电子装置的实施方式。

具体实施方式