[发明专利]一种基于深度学习的视频人物面部替换方法

说明书

本发明公开了一种基于深度学习的视频人物面部替换方法，工选取一定数量的被替换人物以及目标人物的面部影像资料，训练影像输入训练模型，得出被替换人物以及目标人物的特征值，以特征值自主在互联网中检索提取更多影像资料，截取影像资料中的面部部分，将输出层的面部特征组合至面部整体轮廓中，作为面部表情，建立表情深度学习模型，将面部表情作为可见层，将面部表情对应轮廓的变化作为第一隐藏层，将情绪特征作为输出层；将待替换视频每帧画面输入至表情深度学习模型中，分析出对应的情绪特征，将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情；本发明实施中，降低视频角色替换中图像处理的工作时间。

技术领域

本发明涉及视频画面处理领域，具体涉及一种基于深度学习的视频人物面部替换方法。

背景技术

影视视频的拍摄完成之后，可能因为各种原因需要替换演员，但是重新拍摄耗资巨大，传统的画面剪辑贴图模式需要工作人员逐帧抠图贴图替换，费时费力。

伴随着计算设备算力的提升，如若能借助人工智能的帮助进行图像替换，能够大大缩端工作时间。

在专利号为CN104376589A的专利中公开了一种替换影视剧人物的方法，将影视片中每秒25张照片的每一张照片中的同一人物不同姿态形象进行替换，其特征在于替换过程包括被替换人物信息分析与特征提取、替换人物信息采集与特征提取和比对替换三个步骤:(1)被替换人物信息分析与特征提取:先采用常规的人物跟踪和检测技术方法，将原影视视频中含有的指定被替换人物面部进行定位、检测和分割；然后使用常规的边缘检测和分割算子方法提取替换人物面部五官的特征点；再采用常规的三角几何投影、分类、聚类和计算机处理的方法存取被替换人物的方向角、光照、颜色和阴影特征；(2)替换人物信息采集与特征提取:使替换人物在摄影棚内面对一部带有自动摄像功能的显示器，或在显示器方向设置一部摄像机，再让替换人物反复观看显示器上播放的示范影视片并模仿拟被替换的人物的面部表演；替换人物正式表演时，开启摄像机对替换人物摄像，再用计算机中存储的人物检测和人物器官检测分析技术对摄像录制下来的替换人物面部的尺寸、光线进行测量分析后进行存储，并对替换人物器官的特征点进行定位，提取替换人物的方向、光照和颜色特征；(3)比对替换:利用计算机中存储的常规的人物替换计算机软件对原影视片中的被替换人物的面部图像特征和替换人物面部图像特征使用常规的方法对特征进行匹配、尺寸缩放、光线补偿和无缝平滑的逐一比对并自动替换，实现替换人物面部变成影视片中的被替换人物面部。

但是上述方式需要人工对进行补拍贴图，工作量依旧巨大。

发明内容

本发明的目的在于克服现有技术中存在的上述问题，提供一种基于深度学习的视频人物面部替换方法，降低视频角色替换中图像处理的工作时间。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

一种基于深度学习的视频人物面部替换方法，包括以下步骤，

步骤S1，采集多组被替换人物以及目标人物的面部影像资料；

步骤S2，训练面部特征部位的深度学习模型，包括，

步骤S2.1，将面部影像中的输入像素作为模型的可见层，

步骤S2.2，将色块的边界作为第一隐藏层，

步骤S2.3，将边界组成的轮廓作为第二隐藏层，

步骤S2.4，将面部特征部位作为输出层；

步骤S3，将输出层的面部特征组合至面部整体轮廓中，作为面部表情，建立并训练表情深度学习模型，包括，

步骤S3.1，将面部表情作为可见层，

步骤S3.2，将面部表情对应轮廓的变化作为第一隐藏层

步骤S3.2，将情绪特征作为输出层；