[发明专利]用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统

权利要求书

1.一种无标记系统，其用于实时混合或复合计算机生成的三维对象和来自摄影机馈送的视频，为电视广播、电影或视频游戏实时产生增强现实视频，其特征在于，其中：

(a)摄影机的机身可以在三维移动，且在摄影机中或直接或间接连接到摄影机的传感器提供确定摄影机的三维位置和三维方向或使摄影机的三维位置和三维方向能被计算出的实时定位数据，该传感器包括从加速计、陀螺仪或磁力计中选出的非光学传感器；

(b)一对立体见证摄影机直接或间接固定到摄影机上；

(c)所述实时定位数据由系统自动使用以创建、调用、呈现或修改计算机生成的三维对象；

(d)产生的计算机生成的三维对象与来自摄影机的馈送视频混合或复合以提供电视广播、电影或视频游戏的增强现实视频；

以及其中：

(e)摄影机的三维位置和方向是以参照产生的真实世界的三维地图并至少部分通过使用来自非光学传感器的实时三维定位数据加上光流来进行确定，其中，所述见证摄影机测量场景，在处理器上运行的软件在场景中检测不是手动或人工添加到场景中的自然标记。

2.根据权利要求1所述的系统，其特征在于，所述传感器包括三维距离传感器，其获取来自摄影机的视频输出中每个像素的深度。

3.根据权利要求2所述的系统，其特征在于，边缘深度通过在摄影机的高分辨率馈送视频上重新投影三维范围传感器深度来进行改善。

4.根据权利要求1所述的系统，其特征在于，所述一对立体见证摄影机高速见证摄影机使该系统能够完全初始化，而没有仅仅测量要追踪场景的独立阶段，恰恰相反，在摄影机用于拍摄视频的同时测量连续发生。

5.根据权利要求4所述的系统，其特征在于，所述高速见证摄影机的速度至少为100fps。

6.根据权利要求4所述的系统，其特征在于，其中两台高速见证摄影机组成立体系统，其使软件能够处理图像且能够在即使一点也不移动摄影机系统的情况下产生即时三维点云。

7.根据权利要求6所述的系统，其特征在于，系统可通过使用两个摄影机之间的间隔和对极几何的认知将场景中的大量点与它们在三维营间的位置结合。

8.根据权利要求4所述的系统，其特征在于，其中三维点云中每个像素的深度使用从每个立体见证摄影机获得的相应二维纹理补丁和极线线性搜索算法得到。

9.根据权利要求1所述的系统，其特征在于，所述系统运行结合了来自所述立体见证摄影机系统的光流数据与来自硬件传感器的实时定位数据的融合算法。

10.根据权利要求9所述的系统，其特征在于，其中所述融合算法是根据扩展卡尔曼滤波预测/校正技术整合来自所有的传感器的输出以及重新校准所有的传感器，以确定摄影机的位置和方向，其中所有的传感器可以包括加速计、陀螺仪、磁力计、三维距离传感器。

11.根据权利要求10所述的系统，其特征在于，其中当确定如何合并每个传感器的数据时，扩展卡尔曼滤波融合算法使用与每个传感器输出有关的置信度数据。

12.根据权利要求1所述的系统，其特征在于，其中所述立体见证摄影机系统产生的关键帧是视觉追踪过程的一部分且是在立体见证摄影机馈送视频的4个不同分辨率水平计算的实时图像。

13.根据权利要求1所述的系统，其特征在于，其中三维距离传感器用于提高与重新构造的三维点有关的深度测量的精度，或拒绝重新构造的三维点。

14.根据权利要求13所述的系统，其特征在于，其中三维距离传感器用于实时深度键控以实现动态遮挡并抑制绿色阶段的最终使用。

15.根据权利要求1所述的系统，其特征在于，其中软件尝试在三维映射中生成均匀分布的点云以大大减小追踪损耗且增加追踪精度，其中产生了更多的视差，因此估计的摄影机位置更精确。

16.根据权利要求1所述的系统，其特征在于，所述系统提供了摄影机追踪系统，当导演/摄影师追踪、摇摄、倾斜连接到摄影机的摄影机追踪系统时，所述摄影机追踪系统结合三维场景的实时测量或即时测量与摄影机的追踪。

17.根据权利要求1所述的系统，其特征在于，所述系统容许场景的实时连续测量以产生限定场景的更完整的点云。