[发明专利]用于使用视差信息的3D媒体数据产生、编码、解码和显示的方法和装置

说明书

技术领域

本发明可以用于多媒体数据编码、传递和展示，更具体地，用于3D图像和视频打包和传送，其中，视差或深度信息经过处理、提取并用于健康且有效的3D的3D观看，还用于观看以外的目的。

背景技术

类似于MVC(多视点视频编码)的现有技术的立体或3D视频编码方案将立体画面(左和右)编码到流中并传送给用于观看或其他目的终端。终端方解码该流并以用于3D观看的正确的左和右顺序渲染到显示器，或者解码该流用于内容消费前的进一步编辑。

已发现健康的3D观看体验总是受到诸如在每一个画面之间未重合、观看距离、显示尺寸和对应于观看距离和显示尺寸的最小和最大视差值等的因素的影响。

对3D健康问题一直存在抱怨，不仅因为未知的3D内容质量，这仅是一个问题，还因为未知的3D内容特性，例如超过基于固定的观看距离和显示尺寸的人眼可以耐受的过大的3D预算等。可以从最大视差值与最小视差值之间的差获取3D预算。抱怨还会来自需要基于固定的观看距离和显示尺寸的人眼耐受过多的弹出等。过多的弹出是最大视差过大的结果。

可以从3D内容计算3D预算或最大或最小视差，但不易于确保值的准确性，或者其涉及大量运算。所以期望在内容创建方，例如在3D电影制作阶段期间生成该值。但基于现有技术，该值在3D产生或在3D内容打包和传送期间没有完全准备好，或者没有很好地用于内容消费，例如，借助这些值指引终端渲染3D内容以与观看条件相匹配。

例如，3D电影产生是使具有特定特性制作3D内容与影院的观看条件相匹配，而当在家庭3DTV或便携式设备上显示这种内容时就会不匹配，这将导致不健康的3D观看。对于个人3D就会更差，因为没有任何规则和机制来指导消费者拍摄适合家庭3DTV或便携式3D设备上他们观看条件的健康的3D。作为其结果，会出现所谓的糟糕3D观看体验，如视觉疲劳和头疼问题等。

在现有技术中，摄像机参数如基线和两个摄像机之间的会聚角通常是可获取的，而且可以由3D内容携带，以帮助告知终端关于3D内容的特性，但它自身不能告知每一场景的3D预算和最大或最小视差，因为对于不同场景，距摄像机的对象距离是不同的，一些可以非常接近摄像机，以至于具有非常大的视差，导致不健康的3D观看，而一些会非常小以至于看起来像是2D内容的平面对象。

存在建立正确的3D拍摄机制、相应的3D内容打包格式和3D观看方法的要求和需要，以便始终为用户带来健康的3D内容。

发明内容

技术问题

当拍摄3D内容时，难以预计何种3D特性能与3D观看条件很好的配合，因为会有以各种显示器和不同观看距离的各种用户观看这种内容，尤其对于个人3D内容。

终端用户会想要组合不同3D内容来观看，例如3D相片幻灯片放映，但这些3D相片可能包含不同的3D特性，如3D预算或最大视差，它们可能超过可允许的或健康的范围，此外，在相片之间突然的3D预算转变会导致不适和不健康的观看体验。这个情形对于3D视频组合或者在3D视频中插入3D广告图像是相同的。

现有技术的问题在于没有建立健康的3D拍摄机制，没有提供充分考虑了3D内容特性的相应打包格式，也没有开发出使用3D内容的特性的用于3D内容观看方法的智能方式。

对问题的解决

为了解决这个问题，提出了一种包括3D拍摄的3D内容创建的新方法，或者利用摄像机参数或者从3D内容自身充分计算来创建具有嵌入到内容中的3D特性的3D。

为了解决这个问题，提出了一种3D内容打包和传送的新方法，包括3D图像编码格式和3D视频编码格式，用以充当3D内容的元数据，或者作为3D内容格式的头，或者作为3D图像和视频数据的部分。

为了解决这个问题，提出了一种利用相应的3D内容编码格式的3D内容消费或渲染的新方法，其包括3D内容接收和解码，3D特性提取，和3D内容修改，用于健康的观看或除了观看目的以外的再创作。

本发明的优点

本发明的效果在于创建并传送具有用以说明每一3D场景的有价值的3D特性的3D内容，以便通过利用这种有价值的3D特性使不同观看条件与不同3D内容相匹配而带来令人愉快且健康的3D观看体验。

附图说明

图1显示了例示用于本发明的视频编码器的示例性装置的框图。

图2显示了例示用于本发明的比特流提取器和视频解码器的示例性装置的框图。

图3A显示了示出通过UI手动调整的在解码器方所提取的Dmin和Dmax如何用于提供健康的3D观看的流程图。