[发明专利]视频处理方法及装置、神经网络的训练方法及装置

权利要求书

1.一种视频处理方法，包括：

获取至少一个帧图像和音频片段，其中，每个帧图像包括至少一个对象，每个对象包括面部区域；

对所述至少一个帧图像进行预处理，得到所述面部区域的嘴部特征信息；

基于所述嘴部特征信息和所述音频片段，使用视频处理网络对所述至少一个帧图像进行处理，得到目标视频，

其中，所述目标视频中的对象具有与所述音频片段同步的嘴型变化，所述嘴部特征信息至少用于向所述视频处理网络提供所述每个对象的面部区域和嘴部的基本轮廓，以及所述每个对象的所述面部区域和所述嘴部的位置关系，

其中，对所述至少一个帧图像进行预处理，得到所述面部区域的嘴部特征信息，包括：

利用嘴部模糊模型对所述每个帧图像中的对象的嘴部进行模糊处理，得到所述每个帧图像对应的嘴部模糊图片，其中，所述嘴部模糊图片包括执行所述模糊处理的模糊区域和所述帧图像中未执行所述模糊处理的非模糊区域，所述嘴部特征信息包括所述至少一个帧图像分别对应的至少一个嘴部模糊图片。

2.根据权利要求1所述的视频处理方法，其中，利用嘴部模糊模型对所述每个帧图像中的对象的嘴部进行模糊处理，得到所述每个帧图像对应的嘴部模糊图片，包括：

对所述帧图像进行第一色彩空间转换，得到第一转换图像；

提取所述第一转换图像中的嘴部区域，对所述嘴部区域进行第一滤波处理，得到所述帧图像对应的嘴部模糊图片。

3.根据权利要求1所述的视频处理方法，其中，利用嘴部模糊模型对所述每个帧图像中的对象的嘴部进行模糊处理，得到所述每个帧图像对应的嘴部模糊图片，包括：

对所述帧图像进行第一色彩空间转换，得到第一转换图像；

提取所述第一转换图像中的嘴部区域，对所述嘴部区域进行第一滤波处理，得到第一中间模糊图像；

对所述帧图像进行第二色彩空间转换，得到第二转换图像；

提取所述第二转换图像中的皮肤区域，从所述皮肤区域中选择包括嘴部的预设区域；

对所述预设区域进行第二滤波处理，得到第二中间模糊图像；

对所述第一中间模糊图像和所述第二中间模糊图像进行合成处理，得到所述帧图像对应的嘴部模糊图片。

4.根据权利要求3所述的视频处理方法，其中，所述第一色彩空间为HSI色彩空间，所述第二色彩空间为YCbCr色彩空间。

5.根据权利要求1所述的视频处理方法，其中，对所述至少一个帧图像进行预处理，得到所述面部区域的嘴部特征信息，还包括：

对所述至少一个嘴部模糊图片进行梯度特征提取，得到每个嘴部模糊图片对应的梯度特征图，其中，所述嘴部特征信息还包括所述至少一个嘴部模糊图片分别对应的至少一个梯度特征图。

6.根据权利要求5所述的视频处理方法，其中，对所述至少一个嘴部模糊图片进行梯度特征提取，得到每个嘴部模糊图片对应的梯度特征图，包括：

获取所述每个嘴部模糊图片对应的灰度图；

获取第一卷积核和第二卷积核，其中，所述第一卷积核的尺寸小于所述第二卷积核的尺寸，所述第一卷积核中的所有元素之和为0，所述第二卷积核中的所有元素之和为0；

将所述灰度图与所述第一卷积核和所述第二卷积核进行卷积处理，得到所述每个嘴部模糊图片对应的梯度图。

7.根据权利要求1所述的视频处理方法，其中，对所述至少一个帧图像进行预处理，得到所述面部区域的嘴部特征信息，还包括：

利用面部关键点检测模型对所述每个帧图像进行处理，得到多个面部关键点；

提取所述多个面部关键点中与嘴部相关的多个嘴部关键点，其中，所述嘴部特征信息还包括所述多个嘴部关键点。