[发明专利]用于准备视频内容和回放经编码的内容的方法、装置

说明书

描述了具有可选标记覆盖辅助图片的视频。在一个示例中，通过以下操作来准备视频内容：标识视频帧的序列中的对象；生成标记覆盖视频帧，标记覆盖视频帧在与所标识的对象的位置相关的位置中具有标记的可见表示；生成覆盖标签帧，以指示与标记覆盖帧的标记相对应的像素位置；在经编码的视频序列中编码视频帧、标记覆盖视频帧、和覆盖标签帧。

技术领域

本说明书涉及视频编码和解码领域，并且更具体地涉及可以由观看者选择的标记覆盖(tag overlay)。

背景技术

在视频呈现中，附加信息通常作为覆盖与视频一起呈现。这类覆盖被用于电视、科学观察、监视和许多其他领域。常见覆盖提供体育比分和统计数据，新闻滚动条，用于标识运动员、演讲者、屏幕上的对象的图例，或视频的一些其他背景或上下文信息。通常，覆盖是在制作或后期制作阶段添加的，并且是视频的一部分。它们无法被观看者删除、更改或添加。

标识静止或移动对象的存在和位置的视觉标记被内置于许多视频编辑工具中。一些视频编辑工具甚至具有运动跟踪功能，这种功能允许将标记图形添加到视频以跟随移动对象的位置。在编辑器对视频中的对象进行标记之后，可以使用运动跟踪软件来跟随该对象。然后，标记图形被合成到视频内容上，并且无论何时播放合成视频，都将看到标记图形。

已经开发了可选覆盖作为观看者可以选择打开和关闭的覆盖。针对那些希望看到视频的更多部分(而没有可选覆盖遮挡屏幕的一部分)的观看者，这可能是有益的。为允许关闭覆盖，覆盖与视频数据被分开呈现。覆盖可以通过单独的传输信道被发送，或作为嵌入式元数据被单独发送。在接收器(例如，机顶盒或显示器)处使用附加渲染能力，以从元数据渲染像素表示。制作工作流程针对可选覆盖进行修改，来以单独的格式(例如，元数据)渲染覆盖。

附图说明

通过示例的方式而不通过附图中的限制的方式示出了这里描述的材料。为了说明的简单性和清楚性，附图中示出的元不一定是按比例绘制的。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被夸大。

图1是根据实施例的具有对象标记器的示例内容准备单元的框图示。

图2是根据实施例的具有覆盖选择接口的内容回放单元的示例的框图示。

图3是根据实施例的具有用于指示标识的对象的边界框的视频帧的图示。

图4是根据实施例的由对象标记器创建的覆盖帧的图示。

图5是根据实施例的由对象标记器创建的替代覆盖帧的图示。

图6是根据实施例的其中叠加有一个可选标记覆盖的图3的视频帧的图示。

图7是根据实施例的其中叠加有两个可选标记覆盖的图3的视频帧的图示。

图8是根据实施例的编码具有可选标记覆盖的视频的处理流程图。

图9是根据实施例的解码视频并且选择标记覆盖的处理流程图。

图10是根据实施例的计算设备视频编码和解码的框图。

具体实施方式

如本文所述，观看者能够在观看视频的同时控制移动和静止对象的视频标记覆盖的显示。标识移动对象的存在和位置的视觉标记可以与视频内容相关联，并且被显示为视频内容上的覆盖。当在编码和发送视频之前将视觉标记覆盖到视频内容上时，视觉标记将始终被显示，在不期望视觉标记时，这可能使观看者烦恼。本文描述的技术和系统允许观看者选择是否在观看期间显示各个视觉标记。

在一些实施例中，视频内容准备单元检测并跟踪视频内容中的移动对象，并且创建包括与视频内容帧中呈现的每个被跟踪的移动对象相对应的视觉标记的覆盖。覆盖辅助图片(例如，(由ITU-T国际电信联盟的视频编码专家组颁布的)高效视频编码(HEVC)版本2标准中支持的那些图片)被用来编码覆盖，其中每个单独的被跟踪的对象被表示为单独的覆盖元素。