[发明专利]用于隐藏由帧丢失导致的实时视频伪像的机制

说明书

背景

纵观历史，科技进步已使得能够简化普通任务和/或能够以可提供提高的 效率、吞吐量等更老练方式处置此类任务。例如，科技进步已导致使通常手动 执行的任务自动化、增大信息广泛分发的简易性、以及与面对面会议或发送信 件形成对比的各种各样的通信。根据另一示例，视频通信已成为藉由其可发生 通信的更普遍的方式，其中视频数据(例如，具有或不具有相应音频数据)可 被捕捉并被传送至不同地点以供观看。由此，视频数据可被实时地传达、被存 储在存储器中并在稍后的时间被传递等。

其中视频数据被获得并被实时地传递的视频通信例如可被用于电信会议。 电信会议(例如，音频和/或视频会议...)可允许位于不同的地理位置处的数个 参与者协作进行开会而无需出行。采用电信会议技术可使得企业降低成本，同 时提高效率，因为通过电信会议施行会议可使得相对于例如亲自见面而言负担 更少的出席时间量、花费等。

然而，常规视频通信技术经历伪像再现，这些伪像可以是视频中由帧丢失 导致的任何感知畸变。即使已开发了众多技术来减轻帧丢失的发生，通信信道 (例如，通过因特网或任何其他类型的网络传递的数据、...)的固有丢失性持 续导致实时视频通信中有一定程度的帧丢失。例如，帧丢失可由网络分组丢失、 分组失序等造成。此外，在使用普通视频编码和传输(例如，MPEG视频、...) 的情况下，较早的帧丢失会因诸帧之间的依存性而导致后续帧中的畸变图像。 例如，帧丢失导致长达数十秒的视频伪像并不罕见。迄今，解码器通常无法标 识哪些帧具有归因于帧丢失的伪像。相应地，实时视频通信系统常常显示遭损 坏的帧而非藏匿、抛弃这些具有伪像的帧等，这是因为缺乏对关于哪些帧具有 伪像的了解。

概述

以下提出了简化概述以便提供对在此描述的某些方面的基本理解。本概述 并不是对所要求保护的主题的全面综述。它既不旨在标识出所要求保护的主题 的关键或重要的要素，也不描绘其范围。其唯一的目的是以简化的形式来介绍 一些概念，作为稍后提出的更为详细的描述的序言。

所要求保护的主题涉及助益结合实时视频通信来描述、传达、利用帧依存 性结构等。例如，可采用协议来从发送方向接收方传达依存性结构。此外，接 收方侧上的机制可检测将因先前的帧丢失而被有伪像地再现(若被显示)的帧； 此机制可利用接收方侧关于帧的依存性结构的知识。

根据所要求保护的主题的各个方面，发送组件可将经编码的视频帧流传递 给接收组件。这些帧中的每一个可作为多个分组来传达。此外，每个分组可包 括标识与之相关联的特定帧的序号以及与该特定帧所依赖的帧相对应的参考 帧号。因而，每个分组可传达依存性结构的一部分，其可被接收组件解释并用 来重构帧之间的依存性、标识帧丢失和/或基于早先帧的丢失减轻对具有伪像 的帧的显示。更确切地，可将视频冻结一与包括伪像的帧相关联的时间段。相 应地，可改善所感知的视频质量。按照另一例示，因伪像而被跳过的帧可被记 入日志和/或可基于测量有多少帧包括伪像以及因错误隐藏而被冻结的帧的百 分数的定性模型来生成报告。

以下描述和附图详细阐明了所要求保护的主题的某些说明性方面。然而， 这些方面仅指示了可采用该主题的原理的各种方法中的几种，且所要求保护的 主题旨在包括所有这些方面及其等效方面。结合附图阅读下面的详细描述，则 其它优点和新颖特征将变得显而易见。

附图简述

图1图解了提供并利用与实时视频通信的帧之间的依存性有关的信息的 示例系统的框图。

图2图解了根据各个方面的与实时视频通信联用的示例视频流成帧模式。

图3图解了描绘包括I帧、B帧、P帧和SP帧的示例视频流模式的表。

图4图解了管理实时视频帧的丢失的示例系统的框图。

图5和6图解了是示例有效载荷头部。

图7图解了推断是否隐藏由帧丢失导致的实时视频伪像的示例系统的框 图。

图8图解了助益描述实时视频通信帧之间的依存性结构的是示例方法。

图9图解了助益基于帧丢失隐藏伪像的示例方法。

图10图解了其中可采用所要求保护的主题的新颖方面的示例联网环境。

图11图解了根据所要求保护的主题可使用的示例操作环境。

详细描述