[发明专利]图像处理方法及装置

说明书

本发明提供了一种图像处理方法及装置；方法包括：分别对包含第一人体的第一图像和包含第二人体的第二图像进行三维重建，得到所述第一人体及所述第二人体的三维参数；基于所述三维参数，进行图像渲染，得到包含第三人体的第三图像，所述第三人体的形态与所述第一人体的形态相同，所述第三人体的姿态与所述第二人体的姿态相同；获取对应所述第一图像的前景图像及背景图像；对所述第三图像、所述前景图像及背景图像进行特征融合，得到包含所述第三人体的目标图像。如此，能够实现第二人体到第一人体的动作迁移，并保持第一人体的形态和纹理信息不丢失。

技术领域

本发明涉及图像处理技术，尤其涉及一种图像处理方法及装置。

背景技术

动作迁移是指对包含人物A的图像和包含人物B的图像进行处理，将人物B的动作迁移至人物A，得到一个新的图像。新的图像上的人物包含人物A的纹理信息，如面部、头发和衣服等信息的同时，动作来自于人物B。动作迁移在视频内容制作、游戏制作和虚拟现实等娱乐应用方面有着很大的应用前景。

相关技术中，主要采用高精度动作捕捉技术的动作迁移方案、基于图像翻译的方案和基于人体关键点的方案。其中，高精度动作捕捉模型的动作迁移方案受到时间开销、场地和设备的限制；基于图像翻译的方案需要根据不同的人重新训练网络模型，不利于网络的部署；基于人体关键点的方案，会丢失原始人物的形态和纹理信息。

发明内容

本发明实施例提供一种图像处理方法及装置，能够实现动作迁移，并保持原始人物的形态和纹理信息不丢失。

本发明实施例提供一种图像处理方法，所述方法包括：

分别对包含第一人体的第一图像和包含第二人体的第二图像进行三维重建，得到所述第一人体及所述第二人体的三维参数；

基于所述三维参数，进行图像渲染，得到包含第三人体的第三图像，所述第三人体的形态与所述第一人体的形态相同，所述第三人体的姿态与所述第二人体的姿态相同；

获取对应所述第一图像的前景图像及背景图像；

对所述第三图像、所述前景图像及背景图像进行特征融合，得到包含所述第三人体的目标图像。

上述方案中，所述分别对包含第一人体的第一图像和包含第二人体的第二图像进行三维重建，得到所述第一人体及所述第二人体的三维参数，包括：

基于包含第一人体的第一图像和包含第二人体的第二图像，得到相机参数；

基于相机参数，分别对包含第一人体的第一图像和包含第二人体的第二图像进行三维重建，得到所述第一人体的三维网格模型及所述第二人体的三维网格模型；

根据所述第一人体的三维网格模型得到所述第一人体的三维参数，以及根据所述第二人体的三维网格模型得到所述第二人体的三维参数。

上述方案中，所述三维参数至少包含形态参数和姿态参数；

所述基于所述三维参数，进行图像渲染，得到包含第三人体的第三图像，包括：

基于所述第一图像，对所述第一人体的三维网格模型进行纹理映射，得到纹理映射结果；

从所述纹理映射结果中，提取对应所述第一人体的纹理信息；

基于所述第一人体的形态参数、所述第一人体的纹理信息、所述第二人体的姿态参数，进行图像渲染，得到所述包含第三人体的第三图像。

上述方案中，所述对所述第三图像、所述前景图像及背景图像进行特征融合，得到包含所述第三人体的目标图像，包括：

将所述第三图像和所述前景图像进行特征拼接，以对所述第三人体进行纹理填充，得到第四图像；