[发明专利]虚拟摄影测量

说明书

本发明公开了一种虚拟摄影测量。在执行的应用程序(例如，视频游戏)内捕获场景的多个快照。当捕获每个快照时，存储每个像素的相关颜色值和每个像素的距离或深度值z。访问来自快照的深度信息，并构建表示深度信息的点云。网格结构由点云构建。计算网格结构的一个或更多个表面上的一个或更多个光场。表面光场被表示为纹理。渲染器使用具有几何信息的表面光场来重现快照中捕获的场景。可以从不同的视角操纵和观看所重现的场景。

相关美国申请

本申请要求2018年7月13日提交的、序列号为62/697,934、题为“虚拟摄影测量(Virtual Photogrammetry)”的美国临时申请的优先权，其全部内容通过引用并入本文。

背景技术

游戏内摄影是一种相对较新的艺术形式，例如，来自视频游戏的屏幕截图就像现实世界的摄影师一样摆姿势和构图。Nvidia Ansel是游戏内相机功能的一个例子，其可让用户在游戏中拍摄专业级的场景照片。

发明内容

在现实世界的摄影测量中，从不同角度拍摄物体的多张照片，并且这些照片可用于创建可从不同视角操纵和观察的物体的虚拟三维(3D)版本。在虚拟摄影测量中，用户控制虚拟相机(例如由Nvidia Ansel提供的) 而不是真实相机以拍摄屏幕截图，然后对这些屏幕截图进行操作。基本上，照片是在虚拟世界内部拍摄的，例如视频游戏。

公开了用于实现虚拟摄影测量的方法、系统和技术。

在根据本发明的实施例中，在执行的应用程序(例如，视频游戏) 内捕获场景的快照(屏幕截图)。在捕获快照时，可以暂停(就地冻结)虚拟世界，以便可以从不同的视角捕获快照。当捕获每个快照时，存储每个像素的相关颜色值(例如，红色、绿色和蓝色值)和每个像素的距离值z (从虚拟相机到像素的距离)。从快照可以构建表示深度信息的点云。然后可以从点云构建网格结构。然后可以计算网格结构的一个或更多个表面上的一个或更多个光场。在一个实施例中，使用球面调和(spherical harmonics) 作为压缩机制来计算光场。

在一个实施例中，表面光场可以表示为纹理。渲染器可以使用具有几何信息的表面光场来在虚拟3D中重现在快照中捕获的场景。可以从不同的视角操纵和观看重现的场景。实质上，虚拟3D快照是从多个快照产生的。

可以以不同方式有利地使用3D快照。用例包括但不限于：采用位置跟踪实现360度立体声；共享场景(例如，在社交网络应用中共享游戏的静态片段)；将场景导入另一个应用程序；在另一个应用程序中使用场景作为源材料；创建可在不同应用程序中使用的虚拟物体的数据集(库)；和3D 打印。

根据本发明的实施例中的虚拟摄影测量提供了一种平台，该平台使得经验较少的用户以及诸如视频游戏设计者之类的有经验的专业人员能够容易地创建和共享内容。

在阅读以下对各个附图中示出的实施例的详细描述之后，本领域普通技术人员将认识到根据本发明的各种实施例的这些和其他目的和优点。

附图说明

包含在本说明书中并形成本说明书的一部分的附图示出了本公开的实施例，并且与详细描述一起用于解释本公开的原理，其中相似标号表示相似元件。

图1是根据本发明的实施例中的虚拟摄影测量方法的示例的流程图。

图2是根据本发明的实施例中用于生成网格结构的方法的示例的流程图。

图3是根据本发明的实施例中用于实现孔填充物的方法的示例的流程图。

图4是根据本发明的实施例中使用球面调和的方法的示例的流程图。

图5是能够实现根据本发明的实施例的计算设备或计算机系统的示例的框图。

详细描述