[发明专利]视频处理方法及装置、神经网络的训练方法及装置

说明书

一种视频处理方法及装置、神经网络的训练方法及装置。该视频处理方法包括：获取至少一个帧图像和音频片段；对至少一个帧图像进行预处理，得到面部区域的嘴部特征信息；基于嘴部特征信息和音频片段，使用视频处理网络对至少一个帧图像进行处理，得到目标视频，其中，目标视频中的对象具有与音频片段同步的嘴型变化，嘴部特征信息至少用于向视频处理网络提供每个对象的面部区域和嘴部的基本轮廓，以及每个对象的面部区域和嘴部的位置关系。在该视频处理方法中，利用嘴部特征信息向视频处理网络提供脸部与嘴部的大致轮廓与位置，方便网络生成更加准确的嘴部区域，所得到的目标视频的嘴型部分匹配度更高，准确度也更高。

技术领域

本公开的实施例涉及一种基于视频处理方法、视频处理装置、神经网络的训练方法、神经网络的训练装置、电子设备以及非瞬时性计算机可读存储介质。

背景技术

嘴型同步在游戏/动漫角色配音、数字虚拟人、音唇同步的语音翻译等场景下具有广泛的应用场景。例如，用户可以提供一段音频和给定人物形象或动画形象，就可以生成对应人物的讲话视频，对应人物在讲话视频中的嘴型跟随音频的变化而相应变化，人物嘴型与音频完全匹配。

发明内容

本公开至少一实施例提供一种视频处理方法，包括：获取至少一个帧图像和音频片段，其中，每个帧图像包括至少一个对象，每个对象包括面部区域；对所述至少一个帧图像进行预处理，得到所述面部区域的嘴部特征信息；基于所述嘴部特征信息和所述音频片段，使用视频处理网络对所述至少一个帧图像进行处理，得到目标视频，其中，所述目标视频中的对象具有与所述音频片段同步的嘴型变化，所述嘴部特征信息至少用于向所述视频处理网络提供所述每个对象的面部区域和嘴部的基本轮廓，以及所述每个对象的所述面部区域和所述嘴部的位置关系。

例如，在本公开至少一实施例提供的视频处理方法中，对所述至少一个帧图像进行预处理，得到所述面部区域的嘴部特征信息，包括：利用嘴部模糊模型对所述每个帧图像中的对象的嘴部进行模糊处理，得到所述每个帧图像对应的嘴部模糊图片，其中，所述嘴部特征信息包括所述至少一个帧图像分别对应的至少一个嘴部模糊图片。

例如，在本公开至少一实施例提供的视频处理方法中，利用嘴部模糊模型对所述每个帧图像中的对象的嘴部进行模糊处理，得到所述每个帧图像对应的嘴部模糊图片，包括：对所述帧图像进行第一色彩空间转换，得到第一转换图像；提取所述第一转换图像中的嘴部区域，对所述嘴部区域进行第一滤波处理，得到所述帧图像对应的嘴部模糊图片。

例如，在本公开至少一实施例提供的视频处理方法中，利用嘴部模糊模型对所述每个帧图像中的对象的嘴部进行模糊处理，得到所述每个帧图像对应的嘴部模糊图片，包括：对所述帧图像进行第一色彩空间转换，得到第一转换图像；提取所述第一转换图像中的嘴部区域，对所述嘴部区域进行第一滤波处理，得到第一中间模糊图像；对所述帧图像进行第二色彩空间转换，得到第二转换图像；提取所述第二转换图像中的皮肤区域，从所述皮肤区域中选择包括嘴部的预设区域；对所述预设区域进行第二滤波处理，得到第二中间模糊图像；对所述第一中间模糊图像和所述第二中间模糊图像进行合成处理，得到所述帧图像对应的嘴部模糊图片。

例如，在本公开至少一实施例提供的视频处理方法中，所述第一色彩空间为HSI色彩空间，所述第二色彩空间为YCbCr色彩空间。

例如，在本公开至少一实施例提供的视频处理方法中，对所述至少一个帧图像进行预处理，得到所述面部区域的嘴部特征信息，还包括：对所述至少一个嘴部模糊图片进行梯度特征提取，得到每个嘴部模糊图片对应的梯度特征图，其中，所述嘴部特征信息还包括所述至少一个嘴部模糊图片分别对应的至少一个梯度特征图。