[发明专利]在360度全景图像中进行头部大小均衡的系统和方法

说明书

这是提交于2002年6月28日题为“Real-time Wide-angle Image CorrectionSystem And Method For Computer Image Viewing(用于计算机图像观看的实时广角图像校正系统和方法)”的申请号10/186,915的接续。

技术领域

本发明一般涉及使用计算机观看图像，尤其涉及对由全向相机拍摄的全景图像进行实时校正以缓解与这种图像相关联的失真和感知问题的系统和方法。

发明背景

典型的大于60度的视场的广角相机一般被用于拍摄大型场景。由广角相机拍摄的广角图像可至少使用两种类型的投影来观看。线性透视和圆柱投影是用来观看广角图像的最典型的投影。

线性透视投影是由广角镜头拍摄的被投射在平面胶片上的图像。线性透视投射以牺牲维持形状为代价保持直线笔直。这导致了透视变形。如果图像观看者的眼睛位于投射中心则图像将显得正确且不会变形。然而，当以较小的视场观看该广角图像时，观看者期望在物体旋转时图像平面上的图像大小增加较小并且变形量较小。这就是为何物体在边缘处显得被拉伸的原因。比预期的图像平面上的大小变化和变形大，会使得用户感觉场景不固定，特别在观看全景图像时就像场景绕观察者游动。

使用具有曲面胶片和旋转开缝镜头的广角镜头产生圆柱投影。圆柱投影比线性投影能够更好地保持形状。另外，圆柱投影缓解了任何明显的游动运动。虽然圆柱投影是优于线性投影的一种观看改进，但是失真和感知问题仍然存在。尤其，圆柱投影多余地将直线弯曲。另外，圆柱投影几乎完全移除了在观看全景图像时转动头部的幻影。

广角图像中的失真和弯曲问题是由视场失配所引起的。具体而言，由于计算机监视器的有限观看大小和标准的观看距离，观看时图像所对的角度比最初将该场景投射到图像平面的相机的视场小的多。这种失配是导致许多失真和感知问题的原因。

在观看时以较小的视场观看广角图像引起的一个相关问题是深度错误感知。广角图像夸大了远近物体之间的深度差异。场景中物体深度的一个重要视觉提示是位于近处和远处位置的相似物体的图像大小之间的比率(称为深度透视缩短率(foreshortening ratio))。较小的视场导致较小的透视缩短率。例如，假定场景包含彼此靠近站立的两个人，其中一个人比另外一个人离相机稍远。如果该场景被用常规(近似60度)视场相机拍摄，而相同场景又由广角视场相机拍摄，则场景中物体的大小将显得不同。特别地，使用常规视场相机，离相机较远的那个人将显得比另一个人离相机稍远。然而，使用广角视场相机，离相机较远的那个人将显得比另一个人小得多。由于这种被夸大的大小差异，离相机较远的那个人显得比实际要远得多。当在计算机监视器上观看深度场景的广角图像(诸如视频会议场景)时，观看者的视场一般而言会比实际图像的视场小得多。因此，观看者所感知的深度比实际深度要大得多。

显露这些失真和感知问题的一个应用是在视频会议系统中。广角相机常被用于视频会议系统中以拍摄和发送包含有会议室中所有与会人员的图像。然而，一个问题是在观看该视频会议时广角图像夸大了该会议室的深度。这使得图像中间的人(通常是离相机最远的人)与会议室中的其他人相比由于极端的透视缩短而显得非常小。

通常伴随广角相机图像的这些失真和感知问题在观看覆盖360度视场的全景图像时还要突出。全景图像可以通过对准和“缝合”从单个相机获得的输入图像来生成。或者，全景图像可以通过使用多个相机获取输入图像并将它们缝合来构造。例如，这是在使用多个相机生成全景视频的情形。本质上，构造全景视频必需获取描绘四周场景的360度景观的多个视频。由以背靠背方式布置的多个相机组成的相机机组有时被用来拍摄这些视频。通常使用将输入图像中的像素位置映射到全景图像中的像素位置的缝合表以将这些图像在全景中缝合在一起。360度全向相机已被用于会议记录和视频会议。相机通常被放在与会人员围聚的桌子中央。如果该会议桌是矩形，则该全景图像上的人体头部大小将根据他们离相机的距离而变化。例如坐在桌子远端的人将比坐得离相机近的人显得小的多。全景图像中的这种头部大小变化视觉上看起来不是那么吸引人并且经常难以辨认位于桌子远端的人或辨认他们的表情。

采用全景图像的视频会议的另一问题是某些全向相机生成3700×600像素全景图像，然而大多数用户仅有只能显示1024×166像素全景的1024×768像素显示器。在分辨率降低这么大的情况下，位于桌子远端的人在没有头部大小归一化时是看不到的。