[发明专利]一种基于屏幕空间的视频在三维场景中投影映射方法

说明书

本文发明公开了一种基于屏幕空间的视频在三维场景中投影映射方法，包括预处理获取投影源的内外参数和深度图；从当前视点出发绘制三维场景，获取当前视点的漫反射贴图以及深度图；从投影源出发绘制纹理，将投影画面的每个像素点转换到视点的屏幕空间来进行投影计算。改进了传统投影纹理映射中由于深度值缺失导致的遮挡穿透问题，不仅绘制效果增强显著，而且减少了绘制批次，绘制效率更高。本发明算法明确，结果鲁棒，运行效率高，非常适合应用于实时绘制系统，该方法能够与大型三维视频监控系统很好地结合在一起使用。

技术领域

本发明涉及计算机图形学中的纹理映射以及投影，尤其涉及一种基于屏幕空间的视频在三维场景中投影映射融合方法。

背景技术

近年来，对于三维视频监控方向，当前比较常见的方法是从城市各个地点的监控摄像头中采集视频数据，通过标注的形式在三维场景中进行展示。如果监控人员希望调用某个地点的监控，只需要打开对应地区的监控摄像头，就可以观察当前实时的监控视频。但是这种方法只是比较简单的将二维的监控视频与三维场景结合在了一起，也就是在三维场景中观看监控视频而已。相比于视频墙，只是增加了摄像头的三维位置信息，并没有完全发挥出三维场景直观明了的特点，更没有将监控视频的内容同周边的三维场景结合在一起。

纹理映射，又叫做纹理贴图，是一个将一张图片中纹理空间的纹理像素映射到屏幕空间像素的过程。其基本想是将一张图片映射到一个多边形的表面上，并且保证这个多边形在进行矩阵变换或者渲染的时候，映射到多边形表面的图片也可以正确的表现。纹理映射可以应用于点、线、面等多种图元，可以非常真实的表现出木头、石头等自然界的物质，还可以用于演示火焰、烟雾、雨雪等自然现象，同时，还在光照、阴影等许多领域发挥着不可替代的作用，在计算机图形学中的扮演着十分重要的角色。

投影纹理映射也是纹理映射的一种扩展，通常用于将一张纹理图片投影到三维场景中，类似投影仪将画面投影在画布上一样。在各种光照技术中会得到广泛应用，比如阴影贴图等。我们可以把投影点当做一个普通的视点，可以获取投影点的位置还有投影方向，由此可以建立一个坐标系统，类似计算机图形学中常用的坐标系，可以称为投影坐标系统。为了将一张纹理贴图投影到三维场景的几何物体表面，需要根据表面点的位置以及投影点的相关属性，计算出每个顶点对应的纹理坐标，最后根据纹理坐标去纹理贴图中查找对应的像素值。

在投影纹理映射中，纹理的每个像素点都会对应空间中的一条射线，射线上所有的点对应的像素值都是相同的，但是由于缺少深度信息，射线与三维场景相交的每个点都会被着色。也就是说，投影纹理会穿过投影源所看到的物体，后面所有的物体都会被投影。参见Mark Segal,Carl Korobkin,Rolf VanWidenfelt,Jim Foran,Paul Haeberli.Fastshadows and lighting effects using texture mapping[C],ACM SIGGRAPH ComputerGraphics.volume 26.ACM,1992:249–252。需要首先获取投影源的深度图，才能保证投影结果的正确性。

发明内容

本发明提出一种基于屏幕空间的视频在三维场景中投影映射方法，目的在于解决投影纹理映射算法中由于缺失深度值导致的遮挡穿透问题，通过将纹理投影到三维场景中，使得纹理和场景更好的融合在一起。

为实现上述的发明目的，本发明采用的具体技术方案如下：

一种基于屏幕空间的视频在三维场景中投影映射方法，包括步骤：

第一步：针对投影源进行预处理；

1)根据投影参数计算出投影的模型矩阵M，视点矩阵V以及投影矩阵P，相乘得出投影的MVP矩阵T₁；

2)从投影源作为视点进行绘制三维场景，获取投影源的深度图，即Depth₁；

第二步：从当前视点出发绘制三维场景；