[发明专利]一种视频增强处理方法及系统

权利要求书

1.一种视频增强处理方法，其特征在于，包括：

获取目标视频；

确定所述目标视频的类别标签是否满足第一预设条件，所述第一预设条件为视频的类别标签指示所述视频不是颜色敏感类视频，若是，则：

将所述目标视频转换为YUV格式，并将通道分离为亮度通道和色度通道；

提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件，若是，则：

将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；

将所述增强的亮度通道与所述色度通道合并，生成增强的帧；

所述方法还包括：

训练所述深度学习网络，包括：

准备训练数据集，其中，所述训练数据集包括：iPhone 3gs和单反相机在室外同步拍摄的图像；

训练教师网络，将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述教师网络损失等于第一生成损失与原始损失之和，其中，所述第一生成损失等于深度学习网络生成图像与目标图像亮度通道的均方误差，所述原始损失等于深度学习网络生成图像与输入网络图像的均方误差；不断减小所述损失，直到该损失趋于平稳，得到训练好的教师网络；

基于所述教师网络训练学生网络，减小网络耗时；将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述学生网络损失等于蒸馏损失与第二生成损失之和，其中，所述蒸馏损失等于教师网络中间层输出与学生网络相对应中间层输出的均方误差，所述第二生成损失等于学生网络生成图像与教师网络生成图像的均方误差，不断减小所述损失，直到该损失趋于平稳，得到训练好的学生网络。

2.根据权利要求1所述的方法，其特征在于，所述提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件，包括：

提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道像素均值，以及与上一帧的像素均值之差的绝对值是否满足第二预设条件。

3.一种视频增强处理系统，其特征在于，包括：

获取模块，用于获取目标视频；

确定模块，用于确定所述目标视频的类别标签是否满足第一预设条件；所述第一预设条件为视频的类别标签指示所述视频不是颜色敏感类视频；

转换模块，用于当所述目标视频的类别标签满足第一预设条件时，将所述目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道；

判断模块，用于提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件；

第一生成模块，用于当每帧的亮度通道满足第二预设条件时，将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；

合并模块，用于将所述增强的亮度通道的帧与所述色度通道的帧合并，生成增强的帧；

第二生成模块，用于训练所述深度学习网络；

所述第二生成模块在执行训练所述深度学习网络时，具体用于：

准备训练数据集，其中，所述训练数据集包括：iPhone 3gs和单反相机在室外同步拍摄的图像；

训练教师网络，将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述教师网络损失等于第一生成损失与原始损失之和，其中，所述第一生成损失等于深度学习网络生成图像与目标图像的均方误差，所述原始损失等于深度学习网络生成图像与原始图像的均方误差；不断减小所述损失，直到该损失趋于平稳，得到训练好的教师网络；

基于所述教师网络训练学生网络，将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述学生网络损失等于蒸馏损失与第二生成损失之和，其中，所述蒸馏损失等于教师网络中间层输出与学生网络相对应中间层输出的均方误差，所述第二生成损失等于学生网络生成图像与教师网络生成图像的均方误差，不断减小所述损失，直到该损失趋于平稳，得到训练好的学生网络。

4.根据权利要求3所述的系统，其特征在于，所述判断模块在执行提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件时，具体用于：

提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道像素均值，以及与上一帧的像素均值之差的绝对值是否满足第二预设条件。