[发明专利]一种基于时空一致的虚实融合图像的生成方法和系统

权利要求书

1.一种基于时空一致的虚实融合图像的生成方法，其特征在于，包括：

标定真实摄像设备在虚拟世界对应的世界坐标，根据所述世界坐标在所述虚拟世界中放置与所述真实摄像设备对应的虚拟摄像设备；

使用所述真实摄像设备捕捉真实场景图像，在所述虚拟世界中使用所述虚拟摄像设备同步录制虚拟场景图像，其中，所述真实场景图像包含人物图像；

从所述真实场景图像中抠取所述人物图像，将所述人物图像与所述虚拟场景图像进行虚实融合，生成虚实融合图像。

2.根据权利要求1所述的虚实融合图像的生成方法，其特征在于，所述根据世界坐标在所述虚拟世界中放置与所述真实摄像设备对应的虚拟摄像设备的步骤，包括：

标定所述真实摄像设备在虚拟世界对应的世界坐标；

在所述虚拟世界中所述世界坐标的位置放置与所述真实摄像设备具有相同视野的虚拟摄像设备；

使用所述虚拟摄像设备，按照所述相同视野捕捉所述虚拟世界的虚拟场景图像；

按照所述真实摄像设备摄取真实场景图像中人物的世界坐标，计算并标定所述虚拟场景图像中人物的世界坐标。

3.根据权利要求1所述的虚实融合图像的生成方法，其特征在于，所述在虚拟世界中使用所述虚拟摄像设备同步录制虚拟场景图像的步骤，包括：

根据所述真实场景图像中人物的世界坐标，将所述虚拟世界分别划分为人物与所述虚拟摄像设备之间的前景区域，以及所述人物至无穷远处的背景区域；

使用所述虚拟摄像设备以与所述真实摄像设备相同的视野，同步录制所述前景区域对应的前景图像和所述背景区域对应的背景图像。

4.根据权利要求1所述的虚实融合图像的生成方法，其特征在于，所述从真实场景图像中抠取所述人物图像的步骤，包括：

将所述真实场景图像输入至神经网络模型；

使用所述神经网络模型的滑动窗口提取所述真实场景图像中的人物边缘特征，得到人物特征图像；

使用所述神经网络模型对所述人物特征图像进行特征分类，输出并抠取所述人物图像。

5.根据权利要求3所述的虚实融合图像的生成方法，其特征在于，所述从所述真实场景图像中抠取所述人物图像，将所述人物图像与所述虚拟场景图像进行虚实融合的步骤，包括：

将所述背景图像转换为背景图层，将所述前景图像做绿幕处理并转换为前景图层；

使用AI算法将所述真实场景图像中的人物图像抠出，对所述真实场景图像中的其他区域做透明处理，得到真实人物图层；

使用绿幕抠图算法将所述前景图层中的虚拟实体抠出，并对所述前景图层中的其他区域做透明处理，得到前景图层；

使用所述背景图像作为底层，所述真实人物图层作为中层，使用所述前景图层作为上层，将同步录制的所述背景图像、真实人物图层和前景图层叠加融合，合并为所述虚实融合图像。

6.根据权利要求3所述的虚实融合图像的生成方法，其特征在于，所述虚拟场景图像包括虚拟场景图片；所述从所述真实场景图像中抠取所述人物图像的步骤之前，所述方法还包括：

使用多帧所述虚拟场景图片生成虚拟场景视频；

将所述虚拟场景视频和对应的音频交替排布，形成socket数据包序列形式的串流数据；

使用TCP传输协议发送所述串流数据至所述真实摄像设备。

7.根据权利要求6所述的虚实融合图像的生成方法，其特征在于，所述虚拟场景图片包括背景图片和前景图片；所述使用多帧虚拟场景图片生成虚拟场景视频的步骤，包括：

将所述背景图片和前景图片设置为与所述真实场景图像相同的尺寸；

将同一时间戳节点对应的背景图片和前景图片拼接为同一帧虚拟场景图片；

拼接多帧所述虚拟场景图片，得到所述虚拟场景视频。

8.根据权利要求1所述的虚实融合图像的生成方法，其特征在于，所述将所述人物图像与所述虚拟场景图像进行虚实融合，生成虚实融合图像的步骤包括：

按照时间顺序，依次将虚实融合图片相叠加，生成虚实融合视频；

播放所述虚拟融合视频与对应的音频。