[发明专利]对主视频信号和一个或更多个副视频信号进行编解码的方法和设备

说明书

技术领域

本发明涉及用于对主视频信号和一个或更多个副视频信号进行编码、解码及呈现的方法和设备。

背景技术

通常，在显示器上对数字编码后的视频信号进行画中画(PIP)呈现需要针对每个所显示的视频流具有一个视频解码器。在电视广播应用中，由于通常不同的视频信号是无关的，所以这是不可避免的。然而，在诸如光盘之类的存储介质的环境下，在著作时间内已经知道了所有的内容。如果主视频流和辅助PIP视频流具有联合时间轴(jointtimeline)，则因而现有技术水平是将辅助PIP视频信号直接编辑为基本视频，然后将它们联合编码为单个编码的视频流。然后，呈现于屏幕的预定位置中的副视频信号可以用作‘视频菜单按钮’，以便将当前主视频切换至视频菜单按钮中预览的其它视频流之一。如例如在US-A-2004/0126085中所示，典型的应用将会是在多角度存储介质中的不同摄像机角度之间进行屏幕切换。

从3D图形设计中已知，可以在单个图像(例如，JPEG图像)中联合地传输用于场景中的各种不同对象的静态图像纹理。

发明内容

该方案的主要缺点在于，需要预先设计主视频信号和一个或更多个辅助PIP类型的视频信号组的任何组合。除非主视频的附加版本(不包括PIP视频信号)是另外地放在盘上的，否则不可以关闭类PIP视频信号，这使该主视频所需的存储容量有效地加倍。

本发明要解决的问题是，能够仅使用单个视频解码器来实现画中画视频显示，并且对相关视频信号进行相应地编码。通过权利要求1和3中公开的方法来解决该问题。在权利要求2和4中公开了利用相应方法的设备。

根据本发明：

-能够实现时间轴相关的副视频信号的类PIP呈现；

-从而给出了对于类PIP信号呈现的用户控制；

-而仅使用一个编码后的视频流获得以上能力。

尤其在高分辨率视频的情况下，可以为可选PIP视频信号牺牲一些主视频分辨率。如图1所示，将具有例如1920*1080个像素的视频平面在逻辑上分为例如1680*1080个像素的主视频窗口MNVID和承载了一个或更多个PIP窗口PIP 1至PIP 5的240*1080个像素的副面板。

在解码之后，例如如图2所示地在中心显示主视频窗口MNVID，或者将其拉伸或缩放至完全的1920*1080的显示器大小。依据所选显示器选项，解码后像素的纵宽比(缩放之前)将会是方形(在中心的显示器中)或非方形。

并不直接显示副面板的视频内容，而是依据辅助信息，将该副面板的一些部分覆盖在主视频窗口MNVID上。如图2所示，该辅助信息包含与副面板视频的逻辑内容(例如，大小为240*160个像素的1至6副视频信号)、以及在主视频之上的这些副视频信号中每个的所期望的缩放和位置有关的信息。

由于不再将类PIP信号“硬编码”为主视频窗口的事实，所以用户控制这些附加视频信号中每一个的显示和隐藏。另外，可以使用户能够控制在例如图3所示的显示器的任何位置处对PIP窗口进行定位或缩放。

这些操作中没有一个操作需要对独立的视频流进行解码和呈现，而在现有技术中需要。因此，显示、隐藏、缩放或重新定位操作既不导致时间延迟(即，视频回放的停顿)、也不会需要附加的存储空间。

在编码器侧，有利地，限制主视频信号和辅助(PIP)视频信号的位置和大小，从而使它们的边界与由编解码器编码的实体的边界一致，典型地，块或宏块的大小为16*16个像素。

此外，可以限制应用于先进大多数编解码器的时间预测，从而对于给定的块或宏块，仅使用来自相同逻辑信号的预测数据。即，仅从属于主视频区域的像素中预测属于主视频区域的宏块。这同样也适用于PIP信号中的每一个。

原理上，本发明的方法适于对主视频信号和一个或更多个副视频信号进行编码，所述方法包括以下步骤：

-把所述主视频信号设置成仅与预定图像区域的主要部分相关；

-把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关；

-对所述主视频信号和所述一个或更多个副视频信号一起编码，以提供单个编码后的视频信号；

-生成与所述一个或更多个副视频信号有关的位置和缩放信息；

-将所述单个编码后的视频信号的数据与所述编码后的位置和缩放信息的数据组合，用于提供对于存储介质可控制的组合数据流。

原理上，本发明的设备适于对主视频信号和一个或更多个副视频信号进行编码，所述设备包括：