[发明专利]实现多路视频融合的三维增强现实的系统、方法及设备

权利要求书

1.实现多路视频融合的三维增强现实的系统，其特征在于，包括三维场景系统、视频实时解算系统、影像投影系统、影像融合系统和虚拟三维渲染系统，其中：

三维场景系统，保存有现场的三维场景；

视频实时解算系统，对接收到的视频流进行实时解算以得到视频帧；

影像投影系统，用于确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影；

影像融合系统，用于确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定；

虚拟三维渲染系统，对融合后的纹理和三维场景进行渲染。

2.根据权利要求1所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述系统还包括数据同步系统，所述视频流由多路影像采集系统对现场多个位置的影像进行采集而生成，所述多路影像采集系统生成的视频流经多路影像实时回传控制系统进行回传；所述数据同步系统对回传的视频流进行数据同步，所述数据同步具体为时间同步，使得回传的同批次的视频流位于同一时间切片空间。

3.根据权利要求1所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述视频实时解算系统包括视频帧提取模块和硬件解码器，其中：

视频帧提取模块，利用FFMPEG库从视频流中提取帧数据；

硬件解码器，用于对帧数据进行解算以获得视频帧。

4.根据权利要求1所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述纹理映射重叠区域对应的投影机的纹理贡献的权值确定公式为r＝p/(α×d)；

其中r为投影机的纹理贡献的权值、p为投影机图像的像素分辨率、α为两直线的夹角、d为投影机位置到对应三维点的距离。

5.根据权利要求4所述的实现多路视频融合的三维增强现实的系统，其特征在于，纹理映射重叠区域各三维点对应的纹理值的确定公式为T＝(∑I_i×r_i)/∑r_i。

6.根据权利要求5所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述影像融合系统还用于确定分割线，所述分割线用于对不同路的视频帧进行截取，并将截取后的视频帧进行融合，在所述分割线周边的三维点的纹理由截取后的视频帧对应的投影机的纹理贡献的权值加权获得。

7.根据权利要求6所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述分割线的确定方式为：

将重叠区域对应的视频帧变换到同一视点下，利用GraphCut方法得到融合该重叠区域对应的视频帧的分割线。

8.根据权利要求7所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述影像融合系统对不同路的视频帧进行截取时，其将所述分割线反投影回视频帧中，截取每个视频帧实际的使用区域，以获得对应的视频帧部分。

9.实现多路视频融合的三维增强现实的方法，其特征在于，包括：

三维场景系统保存现场的三维场景；

视频实时解算系统对接收到的视频流进行实时解算以得到视频帧；

影像投影系统确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影；

影像融合系统确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定；

虚拟三维渲染系统对融合后的纹理和三维场景进行渲染。

10.一种设备，其特征在于，包括：显示屏、存储器以及一个或多个处理器；

所述显示屏，用于进行融合多路视频的三维场景的显示；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求9所述的实现多路视频融合的三维增强现实的方法。