[发明专利]视频超分变率的方法和装置

说明书

本申请提供了提供一种视频超分变率的方法和装置，涉及人工智能领域，具体涉及计算机视觉领域，该方法包括：获取神经网络CNN模型；根据CNN模型对低分辨率的第一视频的数据进行超分变率处理，以生成第一待处理数据；根据非神经网络模型对所述第一视频的数据进行超分辨率处理，以生成第二待处理数据；根据所述第一待处理数据和所述第二待处理数据，生成高分辨率的第二视频的数据，能够在实现视频超分辨率的前提下，减小神经网络模型的层数，降低神经网络模型的复杂度和参数数量。

技术领域

本申请涉及计算机视觉领域，并且更具体的涉及一种视频超分变率的方法和装置，以及训练卷积神经网络模型的方法和装置。

背景技术

超分辨率是视频播放过程的一个重要环节，例如，在支持4K分辨率的电视上，播放1080p的视频内容时，需要在视频解码之后，对视频帧进行超分辨率，提高像素点数量，以适应屏幕的分辨率。

深度卷积神经网络(convolutional neural networks，CNN)是一种深度学习模型，能够用于图像超分辨率提升。

但是，现有的CNN模型包括的卷积层的数量较多，对处理器和内存的要求较高，严重制约了超分辨率技术的发展和应用。

因此，希望提供一种技术，能够减少用于视频超分辨率的CNN模型的卷积层数。

发明内容

本申请提供一种视频超分变率的方法和设备，能够降低用于视频超分辨率的神经网络模型的层数，降低神经网络模型的复杂度和参数数量。

第一方面，提供一种视频超分变率的方法，包括：获取与第一分辨率对应的第一模型，所述第一模型包括神经网络模型；根据所述第一模型对第二分辨率的第一视频的数据进行超分变率处理，以生成第一待处理数据，所述第一分辨率高于所述第二分辨率；根据与所述第一分辨率对应的第二模型对所述第一视频的数据进行超分辨率处理，以生成第二待处理数据，其中，所述第二模型包括非神经网络模型；根据所述第一待处理数据和所述第二待处理数据，生成所述第一分辨率的第二视频的数据。

根据本申请提供的方案，通过基于神经网络模型和非神经网络模型分别对第二分辨率的第一视频进行超分辨率处理，并根据处理得到的两个待处理数据生成第一分辨率的视频的数据，从而，神经网络模型仅需要处理第一视频的数据与第二待处理数据的残差部分，能够在实现视频超分辨率的前提下，减小神经网络模型的层数，降低神经网络模型的复杂度和参数数量。

可选地，该神经网络模型包括卷积神经网络模型CNN。

可选地，该神经网络模型的卷积层的结构包括深度可分离卷积(depthwiseseparable convolution)结构。

可选地，所述获取与第一分辨率对应的第一模型包括：获取第一分辨率的第二原始训练视频；对所述第二原始训练视频进行降分辨率处理，以获取第一原始训练视频；调节原始模型的参数，以使目标训练视频与所述第二原始训练视频之间的相似度满足预设条件，其中，所述目标训练视频是基于第一训练数据和第二训练数据生成的第一分辨率的视频，所述第一训练数据是所述第一原始训练视频的数据经过基于所述原始模型的超分辨率处理后生成的数据，所述第二训练数据时所述第一原始训练视频的数据经过基于所述第二模型的超分辨率处理后生成的数据；将经过所述调节后的原始模型确定为所述第一模型。

根据本申请提供的方案，通过对第一分辨率的第二原始训练视频进行降分辨率处理，再对所得到的第二分辨率的第二原始训练视频进行超分辨率处理，获得第一分辨率的第一原始训练视频，并基于该第一原始训练视频训练第一模型，能够在第一模型的训练中引入超分辨率处理中出现的噪声，从而，能够提高经过基于该第一模型的超分辨率处理的视频的画质，进一步提高本申请的方案的实用性。

可选地，在调节原始模型的参数之前，所述方法还包括：对所述第一原始训练视频进行高斯模糊处理。