[发明专利]一种视频处理方法、装置和用于视频处理的装置

说明书

本发明实施例提供了一种视频处理方法、装置和用于视频处理的装置。其中的方法包括：通过基于样式的生成模型对第一图像和第二图像进行目标部位融合处理，生成融合图像，所述融合图像中包含第一图像的目标部位特征和第二图像的目标部位特征；对原始视频中的每帧图像进行目标部位检测，确定包含待替换的目标部位的目标帧图像；利用所述融合图像对所述原始视频中的目标帧图像进行目标部位替换处理，得到目标视频。本发明实施例可以降低录制模板图像的成本以及提高视频处理的效率和质量。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频处理方法、装置和用于视频处理的装置。

背景技术

随着短视频、直播等视频应用的普及，视频换脸是近几年兴起的技术，通过视频换脸可以将视频中的目标人脸替换成模板人脸。视频换脸被广泛用于内容生产、电影制作、娱乐视频制作等场景。

但是现有的视频换脸过程需要经过长时间、若干次的训练，资源消耗较大。此外，如果采用真实用户的人脸图像作为模板人脸替换视频图像中的目标人脸，还导致录制模板图像(包含模板人脸的图像)的成本较高，视频处理的效率较低。

发明内容

本发明实施例提供一种视频处理方法、装置和用于视频处理的装置，可以降低录制模板图像的成本以及提高视频处理的效率和质量。

为了解决上述问题，本发明实施例公开了一种视频处理方法，所述方法包括：

通过基于样式的生成模型对第一图像和第二图像进行目标部位融合处理，生成融合图像，所述融合图像中包含第一图像的目标部位特征和第二图像的目标部位特征；

对原始视频中的每帧图像进行目标部位检测，确定包含待替换的目标部位的目标帧图像；

利用所述融合图像对所述原始视频中的目标帧图像进行目标部位替换处理，得到目标视频。

可选地，所述目标部位包括如下任意一项或多项：人脸、唇部、手部、腿部、身体。

可选地，所述目标部位为人脸，所述利用所述融合图像对所述原始视频中的目标帧图像进行目标部位替换处理，得到目标视频，包括：

提取所述融合图像的第一人脸关键点序列，以及提取所述目标帧图像的第二人脸关键点序列；

利用三角网格变形传递算法，基于所述第一人脸关键点序列和所述第二人脸关键点序列确定所述目标帧图像的迁移人脸关键点序列；

利用所述融合图像对所述目标帧图像的迁移人脸关键点序列进行三角剖分贴图处理，得到目标视频。

可选地，所述利用三角网格变形传递算法，基于所述第一人脸关键点序列和所述第二人脸关键点序列确定所述目标帧图像的迁移人脸关键点序列，包括：

基于三角网格变形传递算法，计算两个相邻目标帧图像中的前一帧图像和后一帧图像的第二关键点序列之间的变换矩阵；

将所述第一人脸关键点序列作为所述原始视频中第一个目标帧图像的迁移人脸关键点序列；

根据前一帧图像的迁移人脸关键点序列和所述变换矩阵，计算后一帧图像的迁移人脸关键点序列，得到所述原始视频中每个目标帧图像的迁移人脸关键点序列。

可选地，所述目标部位为人脸，所述利用所述融合图像对所述原始视频中的目标帧图像进行目标部位替换处理，得到目标视频，包括：

获取所述融合图像对应的第一纹理图像和所述目标帧图像对应的第二纹理图像；

对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像；

基于所述融合纹理图像对所述原始视频中的目标帧图像进行渲染，得到目标视频。