[发明专利]实现多路视频融合的三维增强现实的系统、方法及设备

说明书

本申请实施例公开了实现多路视频融合的三维增强现实的系统、方法及设备。本申请实施例提供的技术方案，通过对多路视频采集装置拍摄的影像生成视频流，并对回传的视频流进行数据同步，在对视频流解算获取的视频帧纹理映射至三维场景后，对纹理映射的重叠区域的纹理按照投影机的纹理贡献的权值情况进行纹理重建，减少多个投影机之间发生投影区域重叠的情况，提高渲染出的三维场景的展示效果。

技术领域

本申请实施例涉及计算机图像领域，尤其涉及实现多路视频融合的三维增强现实的系统、方法及设备。

背景技术

虚实融合(MR)技术将虚拟环境与真实环境进行匹配合成，降低了三维建模的工作量，并借助真实场景及实物提高用户的体验感和可信度。随着当前视频图像的普及，MR技术的探讨与研究更是受到关注。

视频融合技术利用已有的视频图像，将它们融合到三维虚拟环境中，可以实现具有统一性的、深度的视频集成。

在将视频融合到三维场景时，现有技术存在多个投影机之间发生投影区域重叠的情况，会对场景的展示造成不良影响。

发明内容

本申请实施例提供实现多路视频融合的三维增强现实的系统、方法及设备，对纹理映射重叠区域的纹理进行重建，从而对纹理映射进行融合，减少因存在多个投影机之间发生投影区域重叠，而对场景的展示造成不良影响的情况

在第一方面，本申请实施例提供了实现多路视频融合的三维增强现实的系统，包括三维场景系统、视频实时解算系统、影像投影系统、影像融合系统和虚拟三维渲染系统，其中：

三维场景系统，保存有现场的三维场景；

视频实时解算系统，对接收到的视频流进行实时解算以得到视频帧；

影像投影系统，用于确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影；

影像融合系统，用于确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定；

虚拟三维渲染系统，对融合后的纹理和三维场景进行渲染。

进一步的，所述系统还包括数据同步系统，所述视频流由多路影像采集系统对现场多个位置的影像进行采集而生成，所述多路影像采集系统生成的视频流经多路影像实时回传控制系统进行回传；所述数据同步系统对回传的视频流进行数据同步，所述数据同步具体为时间同步，使得回传的同批次的视频流位于同一时间切片空间。

进一步的，所述视频实时解算系统包括视频帧提取模块和硬件解码器，其中：

视频帧提取模块，利用FFMPEG库从视频流中提取帧数据；

硬件解码器，用于对帧数据进行解算以获得视频帧。

进一步的，所述纹理映射重叠区域对应的投影机的纹理贡献的权值确定公式为r＝p/(α×d)；

其中r为投影机的纹理贡献的权值、p为投影机图像的像素分辨率、α为两直线的夹角、d为投影机位置到对应三维点的距离。

进一步的，纹理映射重叠区域各三维点对应的纹理值的确定公式为T＝(∑I_i×r_i)/∑r_i。

进一步的，所述影像融合系统还用于确定分割线，所述分割线用于对不同路的视频帧进行截取，并将截取后的视频帧进行融合，在所述分割线周边的三维点的纹理由截取后的视频帧对应的投影机的纹理贡献的权值加权获得。

进一步的，所述分割线的确定方式为：