[发明专利]一种视频处理方法、装置和用于视频处理的装置

权利要求书

1.一种视频处理方法，其特征在于，所述方法包括：

通过基于样式的生成模型对第一图像和第二图像进行目标部位融合处理，生成融合图像，所述融合图像中包含第一图像的目标部位特征和第二图像的目标部位特征；

对原始视频中的每帧图像进行目标部位检测，确定包含待替换的目标部位的目标帧图像；

利用所述融合图像对所述原始视频中的目标帧图像进行目标部位替换处理，得到目标视频。

2.根据权利要求1所述的方法，其特征在于，所述目标部位包括如下任意一项或多项：人脸、唇部、手部、腿部、身体。

3.根据权利要求1所述的方法，其特征在于，所述目标部位为人脸，所述利用所述融合图像对所述原始视频中的目标帧图像进行目标部位替换处理，得到目标视频，包括：

提取所述融合图像的第一人脸关键点序列，以及提取所述目标帧图像的第二人脸关键点序列；

利用三角网格变形传递算法，基于所述第一人脸关键点序列和所述第二人脸关键点序列确定所述目标帧图像的迁移人脸关键点序列；

利用所述融合图像对所述目标帧图像的迁移人脸关键点序列进行三角剖分贴图处理，得到目标视频。

4.根据权利要求3所述的方法，其特征在于，所述利用三角网格变形传递算法，基于所述第一人脸关键点序列和所述第二人脸关键点序列确定所述目标帧图像的迁移人脸关键点序列，包括：

基于三角网格变形传递算法，计算两个相邻目标帧图像中的前一帧图像和后一帧图像的第二关键点序列之间的变换矩阵；

将所述第一人脸关键点序列作为所述原始视频中第一个目标帧图像的迁移人脸关键点序列；

根据前一帧图像的迁移人脸关键点序列和所述变换矩阵，计算后一帧图像的迁移人脸关键点序列，得到所述原始视频中每个目标帧图像的迁移人脸关键点序列。

5.根据权利要求1所述的方法，其特征在于，所述目标部位为人脸，所述利用所述融合图像对所述原始视频中的目标帧图像进行目标部位替换处理，得到目标视频，包括：

获取所述融合图像对应的第一纹理图像和所述目标帧图像对应的第二纹理图像；

对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像；

基于所述融合纹理图像对所述原始视频中的目标帧图像进行渲染，得到目标视频。

6.根据权利要求5所述的方法，其特征在于，所述获取所述融合图像对应的第一纹理图像和所述目标帧图像对应的第二纹理图像，包括：

将所述融合图像和所述目标帧图像分别输入至预先训练的三维人脸重建网络中进行三维人脸重建处理，得到所述融合图像的三维模型参数和所述目标帧图像的三维模型参数；

根据所述融合图像的三维模型参数以及所述目标帧图像的三维模型参数，分别构建所述融合图像对应的三维人脸模型和所述目标帧图像对应的三维人脸模型；

基于所述融合图像对应的三维人脸模型绘制所述融合图像对应的第一纹理图像，以及基于所述目标帧图像对应的三维人脸模型绘制所述目标帧图像对应的第二纹理图像。

7.根据权利要求1所述的方法，其特征在于，所述基于样式的生成模型可以包括映射网络和合成网络，所述通过基于样式的生成模型对第一图像和第二图像进行目标部位融合处理，生成融合图像，包括：

获取待融合的第一图像和第二图像；

将所述第一图像和所述第二图像分别编码为所述映射网络的输入隐码；

将所述第一图像对应的输入隐码和所述第二图像对应的输入隐码输入至所述映射网络，通过所述映射网络分别将所述第一图像对应的输入隐码和所述第二图像对应的输入隐码转换为中间隐码；

将所述第一图像对应的中间隐码和所述第二图像对应的中间隐码输入至所述合成网络进行融合处理，得到融合图像。

8.根据权利要求1至7任一所述的方法，其特征在于，所述基于样式的生成模型包括StyleGAN生成模型或StyleGAN2生成模型。