[发明专利]在立体图像中以相对深度插入三维对象

说明书

相关申请的交叉引用

本申请要求2009年6月24日提交的美国临时专利申请第61/220,007号的优先权，其全部内容通过引用合并于此。

技术领域

本发明涉及三维(3D)成像领域，尤其涉及用于感知深度布置的对象处理。

背景技术

对于二维(2D)显示，可以通过视频播放设备或者通过合成软件将说明文字(captioning)(例如，字幕、隐藏式说明文字(closed-captioning)等)任意地渲染到预先存在的2D图像中。将通过遮挡(occlusion)使所插入的2D说明文字显现在预先存在的图像中的特征的前面或后面。与说明文字一起提供的辅助数据可以指定简单的2D布置位置和风格。例如，来自广播的说明文字的辅助数据可以指定滚出式(roll-up)、弹出式(pop-up)或者画上式(paint-on)说明文字。滚出式说明文字一般出现在屏幕的底部，而弹出式说明文字出现在屏幕上的任何位置。画上式说明文字使用屏幕上的预定固定块。

然而，这些常规技术不适合预先存在的3D图像。在3D空间中对说明文字的任意渲染导致存在于背景中(例如在预先存在的特征后面)的说明文字却被渲染到前景中(例如在预先存在的特征前面)，或者相反地，存在于前景中的说明文字却被渲染到背景中。换句话说，说明文字可能通过遮挡而出现在特征前面，然而由于双眼视差而出现在同一特征后面。这种冲突搅乱人的视觉系统，这破坏了3D图像中的深度感，并且导致观看者眼睛疲劳。

可以在后期制作期间使用对每个3D说明文字插入的人工肉眼分析(eyes-on analysis)来避免这些隐患。也就是说，由人类编辑确认每个插入的适当性。可以想象，该过程耗时、成本高、并且容易出现人为错误。人工肉眼分析对于预先记录的内容是不实用的，而对于直播则几乎是不可能的。

此外，人工肉眼分析是针对特定显示设备尺寸进行的，而对于不同的显示设备经常产生意料之外的结果。感知深度对于像素视差(pixel disparity)是非线性的，像素视差是像素分离偏移和每个显示设备的像素分辨率的函数。因此，即使使用相同的像素分离偏移，插入的说明文字也可能出现在不希望的位置。例如，说明文字可能在不同的显示设备上显现为存在于无限远之外，导致观看者的眼睛发散。当说明文字的右眼图像和左眼图像之间的像素视差大于观看者的双眼间隔时(对于成人，双眼间隔通常大约为65毫米)，说明文字显现在无限远之外。意料之外的结果还可能包括说明文字的非法定位，诸如在观看者后面，这不可能在显示器上实现。

从上面可以看出，通常自动定位和/或不依赖于显示设备的3D说明文字以及3D对象插入，相对于常规2D和3D技术可以提供许多优点。

发明内容

提供用于将至少一个对象渲染到显示设备的立体图像中的方法和装置。立体图像可以包括单独被操控或合成到一起的两个图像(例如右眼图像和左眼图像)。在一个实施例中，方法包括接收该对象的作为观看者距离的分数的感知深度数据。使用感知深度计算具体显示设备的像素分离偏移。使用该像素分离偏移分别将对象的第一图像和第二图像(诸如左眼图像和右眼图像)插入到立体图像中。

在本发明的另一实施例中，针对说明文字的至少一部分提供作为观看者距离的分数的深度数据。使用深度数据来确定说明文字的第一和第二图像之间的适当像素分离偏移，以实质上获得希望的感知深度。使用所确定的像素分离偏移将字幕的第一和第二图像插入到立体图像或图像比特流中。在具体实施例中，针对代表性显示设备(例如每毫米一个像素的分辨率，1米宽)将所提供的深度数据归一化。

在又一实施例中，提供了一种将对象插入到立体图像中的方法。将立体图像直接或间接发送到第一播放设备(诸如移动电话、计算机、电视机、电影院投影仪等)。还将至少一个对象的作为观看者距离的分数的感知深度数据发送到第一播放设备。第一播放设备能够根据感知深度数据计算第一像素分离偏移。将该立体图像以及相同的感知深度数据直接或间接发送到第二播放设备。第二播放设备能够根据感知深度数据计算第二像素分离偏移。在第一和第二播放设备具有不同的屏幕宽度尺寸或像素分辨率的情况下，则第一像素分离偏移不等于第二像素分离偏移。