[发明专利]一种用于移动终端的高效视频增强方法、装置和存储介质

摘要

本发明提供一种应用于移动端的高效视频增强方法、装置和存储介质，通过优化的CNN去噪模型和CNN超分辨率模型两部分，使用把图像拆分为多个子图作为CNN去噪模型的输入，以及CNN去噪模型和CNN超分辨率模型只针对图像的Y通道信息进行处理，U、V通道信息使用简单超分辨率方法得到大尺寸图像的U、V通道信息，通过上述优化方法来降低模型的复杂，有效地结合去噪模型和超分辨率的模型来达到整体增强效果的提升。

主权项

1.一种应用于移动终端的高效视频增强方法，其特征在于，包括以下步骤：步骤1，Y、U、V通道数据分离：所述Y、U、V通道数据分离包括如下子步骤：步骤1.1，对于输入视频的每一帧图像P，其中，w、h表示图像的宽高，图像在YUV格式下进行处理；步骤1.2，对所述图像P的Y、U、V通道数据分离，所述Y、U、V通道的数据分别表示为P_Y、P_U和P_V；步骤2，对所述图像P的所述U、V通道数据，使用简单的超分辨率方法将宽高各放大R倍，其中R表示超分辨率的倍数，得到所述图像P的U、V通道放大R倍后的图和步骤3，对所述图像P的Y通道数据P_Y使用优化的CNN去噪模型和CNN超分模型来进行图像增强处理；具体包括如下子步骤：步骤3.1，数据预处理：将所述Y通道数据P_Y的每个像素值归一化到[‑1,1]得到P_Y的每个像素值的取值范围是[0,255]，归一化的公式表示如下：其中i为像素行位置坐标，j为像素列位置坐标；步骤3.2，子图拆分：对所述进行r倍的拆分，得到宽高分别为w/r、h/r的r²个通道的数据r是w和h的公约数；步骤3.3，建立所述优化的CNN去噪模型对所述图像P进行去噪，具体包括：步骤3.3.1，使用训练数据对所述CNN去噪模型进行训练，训练数据的生成方式为将噪声小的高质量图像样本数据集P_H使用jpeg进行压缩生成噪声大的图像样本数据集P_L，去噪模型的损失函数使用L₂：其中Y表示P_H中图像样本的Y通道值，表示去噪模型的输出，m表示训练样本图像的个数，Y(i,j)^(k)表示样本图像k的第i行第j列像素的Y通道值，表示对P_L中图像样本k经过去噪模型后输出的图像的第i行第j列的值；利用损失函数L₂对所述CNN去噪模型网络中各层的参数进行调整；步骤3.3.2，输入所述r²个通道的数据至所述CNN去噪模型；步骤3.3.3，所述CNN去噪模型的网络共5层，最后一层通道数为r²，其余层通道数为2r²，采用3x3的卷积核，通过CNN去噪模型输出r²个通道的Y数据；步骤3.3.3，对所述输出r²个通道的Y数据进行r倍的子图合并操作得到原始分辨率大小的单通道Y值，子图合并操作是子图拆分的逆操作，把多个小图合成一个大图；步骤3.4，建立CNN超分辨率模型对所述图像P进行超分辨率重建：步骤3.4.1，使用训练数据对所述CNN超分辨率模型进行训练，损失函数使用绝对误差值，训练集使用通用的超分辨率训练集DIV2K；步骤3.4.2，使用所述CNN去噪模型的网络的最后一层的r²个通道的Y数据，输入至所述CNN超分辨率模型；步骤3.4.3，所述CNN超分辨率模型的网络共三层，所述CNN超分辨率模型的通道数依次为r²R、r²R、r²R²，即最后一层通道数为r²R²；使用3x3的卷积核；步骤3.4.4，对所述CNN超分辨率模型的最后一层r²R²通道的数据进行rR倍的子图合并操作得到宽、高分别为R*w、R*h的Y通道超分辨率结果步骤3.5，数据后处理：把所述CNN超分辨率模型输出的的每个像素值还原到[0,255]的范围，得到还原的公式为其中i为像素行位置坐标，j为像素列位置坐标，round表示四舍五入的取整函数；步骤4，Y、U、V通道数据合并：把所述简单的超分辨率方法得到的和所述作为输出图像O的Y、U、V通道数据。