[发明专利]利用移动拍摄设备进行动态纹理采集及虚实融合的方法

说明书

技术领域

本发明涉及虚拟现实，尤其涉及一种利用移动拍摄设备进行动态纹理采集及虚实融合的方法，属于人机交互、虚拟现实、计算机图形学和计算机视觉等技术领域。

背景技术

移动互联网已经成为比当前互联网更大的互联网，具有广阔的应用发展前景。但是当前的手机仅仅局限于电话短信或者拍摄等有限的几个功能，尤其是如何发挥手机及其它移动摄像设备的图像或者视频拍摄功能，使得用户可以随时随地把真实世界中的图像或者视频数据及时传输到相应的虚拟场景中的指定位置上，并完成虚拟场景与真实影像采集数据的融合，这方面的技术和系统，未见于公开报道。

另一方面，传统的虚拟场景中基于图像的纹理数据的更新由于受采集设备和数据处理方法的限制，无法满足虚拟场景纹理实时更新的需求，从而使得虚拟现实系统的真实感和沉浸感受到很大的制约。Google公司推出的街景服务，可以使用户在相应的虚拟场景中进行交互漫游，但是没有进行场景与采集影像数据的匹配，也无法在街景中查询当前位置场景对象的相关信息，而且这些街景信息都是事先处理完成的，无法做到街景图像的实时更新。微软在2010年上半年尝试利用定制的手机针对街景图像数据指定的位置和朝向进行动态视频远程传输的演示，但有关这方面的技术文献和演示系统并未见诸公开文献或报道。此项技术目前仍处于空白。

发明内容

本发明的目的在于针对当前虚拟现实中的局部场景真实感不足的缺点，提出一种利用移动拍摄设备进行动态纹理采集及虚实融合的方法。

为了实现技术目的，本发明采用如下技术方案：

一种利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，所述方法包括：

a)移动拍摄设备获取拍摄地点的位置和方向，也就是真实影像的视点；

b)移动拍摄设备安装有呈现虚拟场景的虚拟现实系统客户端，移动拍摄设备根据所述位置和方向以及移动拍摄设备中的拍摄参数(比如分辨率，焦距和景深)在屏幕中呈现虚拟场景的虚拟影像；

c)移动拍摄设备对真实场景进行影像取景，将真实影像和虚拟影像同时呈现于所述屏幕，调整真实场景的视点和虚拟场景的视点中的一个或两个，使所述真实场景的视点和虚拟场景的视点重合；

d)通过虚拟现实系统的客户端将移动拍摄设备拍摄的真实影像上传至数据服务器，所述数据服务器融合所述影像并更新虚拟场景的影像数据。数据服务器也可将更新后的数据分发给包括移动拍摄设备中的虚拟现实系统客户端在内的虚拟现实系统客户端，实现客户端数据的及时更新。

优选地，在步骤c)中，将真实影像和虚拟影像重叠呈现于所述屏幕，所述真实影像位于底层，所述虚拟影像位于顶层并具有设定的透明度(比如半透明)；或者，所述虚拟影像位于底层，所述真实影像位于顶层并具有设定的透明度(比如半透明)。

优选地，在步骤c)中，通过调整拍摄地点的位置和方向中的一项或两项，使所述真实场景的视点和虚拟场景的视点重合。

优选地，在步骤c)之后，将所述屏幕中的虚拟影像和真实影像放大至真实分辨率，若两者不重叠，则调整在真实分辨率下重复步骤c)，即更加细微地调整真实场景的视点和虚拟场景的视点之一或者两者同时调整，使得真实影像和虚拟影像重叠，即真实场景的视点和虚拟场景的视点重合。

优选地，安装在移动拍摄设备内的虚拟现实系统客户端可以对虚拟场景中的场景特征进行语义查询和语义编辑及更新，数据服务器再将更新后的数据分发给包括移动拍摄设备的虚拟显示系统客户端在内的各个虚拟现实系统客户端。

下面从几个方面对本发明方法作具体说明。

在本发明方法中，移动拍摄设备(比如手机，相机，摄像机，或者其它专用拍摄设备等等)拍摄的影像(在本发明中，影像包括动态的视频或者静态的图像(照片))具备位置和方向属性，并上传到虚拟场景系统中进行场景影像纹理的融合处理，使得虚拟场景中的局部纹理的生成具有动态、实时等特点，提高虚拟场景的真实感。同时，利用移动拍摄设备屏幕显示的虚拟场景，通过交互拾取虚拟场景对象查询相关的各种属性信息，从而可以加快真实感虚拟场景的构建速度和构建质量，同时可以增加用户查询场景对象相关信息时的直观性和便捷性，也可以通过真实场景拍摄的影像对虚拟场景对象的轮廓形状进行有效校验，进而提高虚拟场景对象的三维构建精度。