[发明专利]建立图像增强模型与图像增强的方法、装置

说明书

本申请公开了一种建立图像增强模型与图像增强的方法、装置，涉及计算机视觉、深度学习技术领域。本申请在建立图像增强模型时包括：获取训练数据；构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型，其中每个通道膨胀卷积模块包含空间下采样子模块、通道膨胀子模块与空间上采样子模块；使用各视频帧以及对应各视频帧的标准图像对所述神经网络模型进行训练，直至所述神经网络模型收敛得到图像增强模型。另外，本申请在进行图像增强时包括：获取待处理视频帧；将待处理视频帧作为图像增强模型的输入，将图像增强模型的输出结果作为待处理视频帧的图像增强结果。本申请能够提升所建立的图像增强模型的处理效率。

技术领域

本申请涉及人工智能技术领域，尤其涉及计算机视觉、深度学习技术领域中的一种建立图像增强模型与图像增强的方法、装置、电子设备和可读存储介质。

背景技术

随着视频直播业务的兴起，服务器分发带宽成本成为直播服务提供商的主要成本。为了减少带宽成本，一种最直接的方式是分发低码率视频，但是与高码率视频观感体验差距很大。移动端视频画面增强技术可以在移动设备上对视频画质进行增强，提升视频主观清晰度，使视频观看起来更清晰，极大提升用户体验。

但是，现有技术中的视频画面增强技术，利用传统的卷积神经网络，计算量大，难以在移动端对于直播视频实现实时的画面增强。此外，对于移动端视频画面增强任务来说，现有的神经网络轻量化技术，例如剪枝，蒸馏等，往往会遇到模型坍缩问题，无法学习到有效的画面增强信息。

发明内容

本申请为解决技术问题所采用的技术方案是提供一种建立图像增强模型的方法，包括：获取训练数据，所述训练数据中包含多个视频帧以及对应各视频帧的标准图像；构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型，其中每个通道膨胀卷积模块包含空间下采样子模块、通道膨胀子模块与空间上采样子模块；使用各视频帧以及对应各视频帧的标准图像对所述神经网络模型进行训练，直至所述神经网络模型收敛，得到图像增强模型。

本申请为解决技术问题所采用的技术方案是提供一种建立图像增强模型的装置，包括：获取单元，用于获取训练数据，所述训练数据中包含多个视频帧以及对应各视频帧的标准图像；构建单元，用于构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型，其中每个通道膨胀卷积模块包含空间下采样子模块、通道膨胀子模块与空间上采样子模块；训练单元，用于使用各视频帧以及对应各视频帧的标准图像对所述神经网络模型进行训练，直至所述神经网络模型收敛，得到图像增强模型。

本申请为解决技术问题所采用的技术方案是提供一种图像增强的方法，包括：获取待处理视频帧；将所述待处理视频帧作为图像增强模型的输入，将所述图像增强模型的输出结果作为所述待处理视频帧的图像增强结果。

本申请为解决技术问题所采用的技术方案是提供一种图像增强的装置，包括：第二获取单元、用于获取待处理视频帧；增强单元、用于将所述待处理视频帧作为图像增强模型的输入，将所述图像增强模型的输出结果作为所述待处理视频帧的图像增强结果。

一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述方法。

一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述方法。