[发明专利]用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统

说明书

发明背景

1.技术领域

一种用于实时混合或复合计算机生成的3D对象和电影摄影机(例如摄像机)的馈送视频以为电视广播、电影或视频游戏产生实时增强现实视频的系统。

2.背景技术

在过去的20年中，在这一领域出现了大量的研究和商业活动；可以参考来自以下公司的视频插入或增强现实系统，例如运动视觉有限公司(Sportvision,Inc)，该公司已开发出用于体育赛事(例如美式足球)的电视观看增强，增加了观众看到叠加在球场上的虚拟的第一次进攻线。其他已在这一领域开发出系统的公司包括PVI有限公司。已知系统的一个共同特征是它们主要依靠分析来自摄影机的馈送视频的特征以确定摄影机指向真实世界场景中的哪一部分；该系统早期已建立那个场景的三维映射，以便一旦它知道它指向场景中的哪个位置，它能够在馈送视频中以如下方式添加或复合计算机产生的对象(如虚拟的第一次进攻线)，通过对象的位置和方向使它看起来好像场景的自然部分。这种方式中仅仅依赖光流的一个缺点是这种系统可能会不可靠。

其它系统依靠以纯标记为基础的方法(例如光动力飞行器技术公司(Lightcraft Technologies))。他们需要操作者把真实的物理标记(大小为1米x1米)放在布景上由系统进行检测。它非常低效，因为它需要几小时或几天来建立舞台，这对于影视制作来说是不可能完成的。它也具有许多限制，因为物理标记必须总是保持在他们系统的视野中。也可以参考附录1中引用的论文。

发明内容

本发明的一个方面是一种用于实时混合或复合计算机生成的三维对象和电影摄影机(例如摄影机)馈送的视频，以为电视广播、电影或视频游戏产生增强现实视频的系统，其中：

(a)电影摄影机的机身可以在三维移动，且在电影摄影机中或直接或间接连到电影摄影机的传感器提供限定电影摄影机的三维位置和三维方向或使电影摄影机的三维位置和三维方向能够计算出的实时定位数据，以及

(b)然后，系统自动使用实时定位数据以创建、调用、呈现或修改计算机产生的三维对象，以及

(c)然后，混合或复合产生的计算机生成的三维对象和电影摄影机馈送的视频以为电视广播、电影或视频游戏提供增强现实视频。

可选特征—一些或全部特征可以彼此结合，包括以下：

·实时混合或复合计算机生成的三维对象和电影摄影机的实时馈送视频。

·测试和使用电影摄影机的实时变焦、聚焦以及光圈设置，连同实时定位数据，以便在三维场景的预定位置和方向正确地呈现三维对象。

·传感器包括加速计和陀螺仪(六自由度传感器(6DOF sensor))

·传感器包括测量三维平移加速度的三轴加速计、测量三维角速度的三轴陀螺仪、以及测量三维绝对朝向的磁力计，因此组成了九自由度传感器。

·传感器包括三维距离传感器，例如结构光或飞行时间摄影机。

·三维距离传感器获取摄影机的视频输出中每个像素的深度(depth)。

·通过在电影摄影机的高分辨率馈送视频上重新投影三维距离传感器深度来完善边缘深度。

·传感器形成可以完全固定到电影摄影机上的单元

ο该单元包括一个或两个见证摄影机(witness camera)。

ο该单元包括三维距离传感器，其获得视频输出中每个像素的深度。

ο该单元包括六自由度或九自由度传感器。

ο该单元使用可切换的悬挂器(hanger)以允许它被固定到不同尺寸和设计的电影摄影机和杆上。

ο该单元可扩展为包括其它形式的传感器。

ο该单元可以组成测量设备，其可以用于测量复杂的场景并无线传输限定测量的三维场景的数据至计算机，该计算机然后可以追踪或恢复场景的追踪。

ο电影摄影机包括传统编码器以读取摄影机变焦、聚焦和光圈。

·系统包括一个单一的见证摄影机(单视场的情况)或两个见证摄影机(立体视场的情况)，配备有镜头，可以是180度鱼眼镜头。

·见证摄影机偏置于电影摄影机，并且偏移值使用包括第一和第二圆圈组的校准表得到，每个圆圈处于相对一个或多个其他圆圈已知的位置且每个圆圈使用二进制大对象图像算法(blob image algorithm)进行识别。

·使用包括若干圆圈的校准表校准电影摄影机镜头的光学畸变，每个圆圈处于相对一个或多个其他圆圈已知的位置且每个圆圈使用二进制大对象图像算法进行识别。