[发明专利]自适应视频呈现的方法和装置

说明书

技术领域

本发明涉及视频呈现的方法和装置，更具体地涉及在小显示器 上自适应视频呈现的方法和装置。

背景技术

在多媒体应用领域，诸如Pocket PC、智能电话、SPOT表、Tablet PC、个人数字助理装置等多种新型移动装置在人们的日常生活中越 来越流行。这些装置在数字计算和数据存储方面功能变得越来越强 大。而且，人们已经变得热衷于通过这些移动装置观看视频。

然而，低带宽连接和小显示器是削弱这些装置在人们日常生活 中有用性的两个严重障碍。虽然已经开发诸如Windows视频播放器 和PocketTV的少数商业视频播放器，使得用户能够从小屏幕装置 (small form factor device)浏览视频，但有限的带宽和小视窗尺寸 仍然是两个关键障碍。随着2.5G和3G无线网络的快速、成功发展， 预期带宽因素在不远的将来会成为较小的限制。而显示器尺寸的限 制可能在一定时期内保持不变。

某些现有的工作聚焦于在移动装置上显示图像。这些工作基于 图像注意模型计算并提供最佳图像观看路径，从而模拟人类的观看 行为。因为多数有价值的信息是由视频提供的，所以改善在小显示 器上观看视频的体验对释放这些移动装置的功能是重要的。

X.Fan等人在“在小显示器上观看视频帧”，ACM MM’03，2003 中提出了提供更好的在有限的且不同的屏幕尺寸显示器上观看视 频的用户体验的一个解决方案，该解决方案引入了三种浏览方法： 手动浏览方法，全自动浏览方法和半自动浏览方法。

然而，在所提出的全自动浏览方法中，方向控制和缩放控制均 被禁用。最终的视频流使用更多的视频空间来显示受注意的区域 (attention-getting regions)，同时切除(cropping out)其他部分。因 此，当视频帧包含许多独立焦点时，该方法与传统的采样方案差别 较小。

在半自动浏览方法中，要求人们互动，从而在有一个以上的重 要注意对象(AO)时切换浏览焦点。该显示焦点是在用户按下控 制按钮后计算的，且当焦点改变时将出现伪像。

因此现有方案不能为在小显示尺寸的装置上自动浏览视频提 供好的解决方案，并且不能在视频显示质量和显示尺寸限制间保持 更好的平衡，特别是在多焦点情形中。

发明内容

本发明提供了一种根据基于内容分析的元数据(metadata)信 息，用于在小尺寸显示装置上全自动呈现视频的自适应视频呈现解 决方案，从而为用户提供最佳视频观看体验。

根据一方面，提供了用于在小于第一尺寸的第二尺寸显示器上 自动呈现第一尺寸视频的自适应视频呈现方法，其包括以下步骤： 为视频的场景的每帧确定包含至少一个显著对象的显著对象组，以 及根据与经确定的显著对象组相关的尺寸与第二尺寸之间的函数， 在第二尺寸显示器上显示经确定的显著对象组内的至少一个显著 对象。

在一个实施例中，对于一帧，与显著对象组相关的尺寸为一个 矩形的尺寸，该矩形覆盖该帧中该显著对象组。

在另一个实施例中，进一步根据该帧内的所有宏块的运动矢 量，在较小显示器上呈现至少一个显著对象组。

有利地，当该帧内的宏块的运动矢量的平均长度小于第一阈值 时，在第二尺寸显示器上以低运动模式显示该显著对象组；否则以 高运动模式显示显著对象组。

优选地，当计算包含显著对象组的帧内的宏块的运动矢量的平 均长度时，显著对象内的宏块的运动矢量的长度和帧的其他部分内 的宏块的运动矢量的长度具有不同权重。

在一个实施例中，在高运动模式期间，以场景内所有帧的所有 重心点的平均点作为第二尺寸显示器的中心点，在第二尺寸显示器 上显示至少一个显著对象组。

有利地，当计算所述平均点时，对所述场景内所有帧的所有重 心点进行加权。

另一个方面，在高运动模式期间，如果显著对象组的尺寸小于 第二阈值，则以放大操作在较小显示器上显示显著对象组；否则如 果显著对象组的尺寸大于第三阈值，则以缩小操作在较小显示器上 呈现显著对象组。

优选地，第二阈值小于较小显示器的尺寸的一半，且第三阈值 等于较小显示器的尺寸的两倍。

而且，显著对象的权重取决于视频内容模式、指定语义信息、 以及用户经验中的至少一个。