[发明专利]一种基于视频换脸的产品展示方法及系统

说明书

本发明涉及视频换脸领域，公开了一种基于视频换脸的产品展示方法及系统，解决了传统视频产品展示仅展示了产品穿着或佩戴在模特身上的画面，不能达到让观看者有体验的效果的问题，其技术方案要点是存入产品图像视频和产品相关信息，并播放产品图像视频；根据采集到的体验者的身体图像和人脸图像，对产品图像视频进行合成处理；播放处理好的合成图像视频，达到在观看产品图像视频时，让观看者有相对真实的产品体验效果。

技术领域

本发明涉及视频换脸领域，更具体地说，它涉及一种基于视频换脸的产品展示方法及系统。

背景技术

换脸技术作为一种新兴的人工智能技术，基于3D建模的换脸技术可以实现将2D图像中的人脸换成目标人脸，并且人物的头部方向，脸部表情与口型与源图像保持一致。对于视频换脸技术，只需要输入一段人物视频与一张目标人脸图像，便可以生成由目标人物再现的源视频画面。

但是传统的视频产品展示仅仅展示了产品穿着或佩戴在模特身上的画面，不能达到让观看者有体验的效果。

发明内容

本发明的目的是提供一种基于视频换脸的产品展示方法及系统，达到在观看产品图像视频时，让观看者有相对真实的产品体验效果。

本发明的上述技术目的是通过以下技术方案得以实现的：一种基于视频换脸的产品展示方法，包括以下步骤：

存入产品图像视频和产品相关信息，并播放产品图像视频；

根据采集到的体验者的身体图像和人脸图像，对产品图像视频进行合成处理；

播放处理好的合成图像视频。

作为本发明的一种优选技术方案，产品相关信息包括产品的尺码数据。

作为本发明的一种优选技术方案，对产品图像视频合成处理的内容包括：将产品图像视频中的模特面部替换成体验者的面部；将模特的身体图像根据为体验者的身体图像进行适应性的调整。

作为本发明的一种优选技术方案，在对产品图像视频合成时，首先对体验者的身体图像的身体尺码数据和产品相关信息进行匹配，匹配成功再进行合成处理。

作为本发明的一种优选技术方案，将模特面部替换成体验者面部包括如下子步骤：

对采集到的体验者的人脸图像F1使用人脸3D重建模型进行3D重建，得到体验者的3D人脸模型M1；

对产品图像视频中的模特人脸进行检测，将检测到的模特人脸图像记为 F2；

对模特人脸图像F2使用人脸3D重建模型进行3D重建，生成模特的3D 头部模型M2，提取M2的口型和表情参数α、尺寸S、头部位置P和姿态矢量A，把三元组(S,P,A)记为变换参数β；

对模特人脸图像F2提取光照参数；

对体验者的3D人脸模型M1按照变换参数β作缩放、平移和旋转变换；对体验者的3D人脸模型按照口型和表情参数α作口型和表情的变换；

把变换以后的体验者的3D人脸模型M1按照体验者的人脸图像F1的光照参数进行渲染，得到新的人脸图像F3。

作为本发明的一种优选技术方案，根据体验者的身体图像进行适应性调整包括如下子步骤：

对产品图像视频中的模特身体进行检测，将检测到的模特身体图像记为 F4；

对F4用3D重建模型进行3D重建，生成模特的3D身体模型M3，并提取身体尺码数据ξ；

根据采集到的体验者的身体图像，对模特的3D身体模型M3的身体尺码数据ξ进行适应性调整，得到新的身体图像F5；

把新的人脸图像F3和新的身体图像F5通过无缝克隆技术融合到产品图像视频中，得到合成图像视频。