[发明专利]虚拟视频通信方法、装置、设备、存储介质和程序产品

说明书

本发明提供一种虚拟视频通信方法、装置、设备、存储介质和程序产品，涉及计算机视觉和视频通信技术领域，所述方法包括：基于获取的多视角的当前场景图像，确定对应的多视角的人脸关键点信息；基于多视角的人脸关键点的世界坐标和多视角的人脸关键点信息，确定人脸融合信息，人脸融合信息用于实时驱动三维动画模型，其中，人脸融合信息包括：人脸关键点融合信息和人脸旋转角度融合信息；将三维动画模型进行实时视频串流，实时视频串流用于实现虚拟视频通信。本发明可通过融合多视角人脸信息的三维动画模型进行虚拟视频通信，提高三维动画模型的鲁棒性和稳定性。

技术领域

本发明涉及计算机视觉和视频通信技术领域，尤其涉及一种虚拟视频通信方法、装置、设备、存储介质和程序产品。

背景技术

随着可视化需求越来越高，视频通信以其实时传递语音、数据、视频为一体的通信信息成为通信领域发展的热点，并在视频会议、远程视频医疗、远程视频教育等领域得到广泛的应用。其中，实时驱动三维动画模型替代真实人脸图像进行虚拟视频通信的技术也随之具有广泛应用前景与市场潜力。

现有技术中，三维动画模型的驱动一般通过下述两种方式驱动：

(1)、通过输入一段真实人脸的视频，经过算法处理，输出一段动态的三维动画模型视频，此种方法虽然驱动效果良好，但无法满足虚拟视频通信的实时性要求，只能在提前录好视频的前提下获得可驱动的三维动画模型，应用场景受到极大限制；

(2)、通过单目摄像机获取人脸信息，实时驱动三维动画模型，但通过单目摄像机获取的人脸点位信息有限，无法准确分析并获取三维立体空间旋转角度、方位等信息，且驱动过程中存在漏点、掉帧等不稳定、不准确的问题，无法满足市场需求。

发明内容

本发明提供一种虚拟视频通信方法、装置、设备、存储介质和程序产品，用以解决现有技术中点位信息有限且实时性差的缺陷，通过融合多视角人脸信息的三维动画模型进行虚拟视频通信，提高三维动画模型的鲁棒性和稳定性。

本发明提供一种虚拟视频通信方法，包括：

基于获取的多视角的当前场景图像，确定对应的多视角的人脸关键点信息；

基于多视角的人脸关键点的世界坐标和所述多视角的人脸关键点信息，确定人脸融合信息，所述人脸融合信息用于实时驱动三维动画模型，其中，所述人脸融合信息包括：人脸关键点融合信息和人脸旋转角度融合信息；

将所述三维动画模型进行实时视频串流，所述实时视频串流用于实现虚拟视频通信。

根据本发明提供的虚拟视频通信方法，所述基于多视角的人脸关键点的世界坐标和所述多视角的人脸关键点信息，确定人脸融合信息，所述人脸融合信息用于实时驱动三维动画模型，其中，所述人脸融合信息包括：人脸关键点融合信息和人脸旋转角度融合信息，包括：

基于每个视角的人脸关键点的世界坐标，利用solvePNP算法，确定人脸相对于每个视角的旋转向量；

将所述人脸相对于每个视角的旋转向量进行融合，确定所述人脸旋转角度融合信息；

将每个视角的人脸关键点信息进行融合，确定所述人脸关键点融合信息。

根据本发明提供的虚拟视频通信方法，所述基于多视角的人脸关键点的世界坐标和所述多视角的人脸关键点信息，确定人脸融合信息，所述人脸融合信息用于实时驱动三维动画模型，其中，所述人脸融合信息包括：人脸关键点融合信息和人脸旋转角度融合信息，还包括：

确定预先构建的三维动画模型的面部关键点信息；

将所述人脸融合信息导入所述三维动画模型，并将所述三维动画模型的面部关键点信息与所述人脸融合信息进行关键点对接，所述关键点对接用于基于当前场景图像实时驱动三维动画模型。