[发明专利]用于自适应流传输对齐的帧转换

说明书

用于生成AV位流(例如，具有自适应流传输格式的MPEG‑2传输流或位流片段)使得所述AV位流包含与至少一个音频I帧同步的至少一个视频I帧的方法例如包含通过重新制作至少一个视频或音频帧(作为重新制作的I帧或重新制作的P帧)。通常，包含所述重新制作的帧的所述AV位流的内容片段以I帧开始并包含至少一个后续的P帧。其它方面是用于适配此类AV位流的方法，被配置成执行本发明方法的任何实施例的音频/视频处理单元以及包含缓冲存储器的音频/视频处理单元，所述缓冲存储器存储根据本发明方法的任何实施例生成的AV位流的至少一个片段。

相关申请的交叉引用

本申请要求美国临时专利申请第62/690,998号和欧洲专利申请第18180389.1号的优先权的权益，两者均于2018年6月28日提交，所述美国临时专利申请和欧洲专利申请通过引用特此并入。

技术领域

本文件涉及音频和视频信号处理，并且更具体地，涉及位流(例如，在自适应流传输格式或方法/协议中使用的位流或位流片段或传输流)的生成和适配，所述位流包含(经编码视频数据以及任选地元数据的)视频帧和(经编码音频数据以及任选地元数据的)音频帧。本发明的一些实施例生成或适配(例如，对齐)位流片段(例如，具有MPEG-2传输流格式，或根据MMT或MPEG-DASH或另一种流传输方法/协议的格式，或另一种自适应流传输格式，或另一种标准兼容格式)，所述位流片段包含经编码音频数据(例如，符合或兼容AC-4、或MPEG-D USAC、或MPEG-H音频标准的格式的经编码音频数据)。

背景技术

在自适应流传输中，具有(或用于)自适应流传输格式的数据可以包括用于每个视频表示和音频表示的单独的位流(或位流片段)。因此，数据可以不包括单个位流(例如，单个传输流)，并且相反可以包含两个或两个以上单独的位流。在本文中，表达“AV位流”(定义如下)用于表示指示位流或位流片段、或两个或两个以上位流片段(例如，传输流或在自适应流传输格式中使用的位流片段)的信号(或多个信号)，所述位流(或一或多个位流片段)包含视频数据和/或经编码音频数据，并且通常还包含元数据。

AV位流(例如，传输流或在自适应流传输格式或流传输方法或协议中使用的位流片段)可以指示至少一个音频/视频(音频和/或视频)节目(“节目”)，并且可以包含(对于由此指示的每个节目)视频数据帧(其确定至少一个视频基本流)和对应于视频数据的经编码音频数据帧(其确定至少一个音频基本流)。视频数据帧可以包含或包括视频数据I帧(视频I帧)和视频数据P帧(视频P帧)，并且经编码音频数据帧可以包含或包括I帧或经编码音频数据(音频I帧)和经编码音频数据P帧(音频P帧)。

在本文中，包含在权利要求中，“I帧”表示可以使用仅来自其自身的信息进行解码的可独立解码的帧。在本文中，包含在权利要求中，非I帧的帧(例如，预测经编码帧)被称为“P帧”。在AV位流中，P帧通常需要来自前一个I帧的信息以便被解码。I帧(或P帧)可以包含视频数据(并且通常还包含元数据)，并且此类帧在本文中有时被称为视频帧或视频数据帧。I帧(或P帧)可以包含经编码音频数据(并且通常还包含元数据)，并且此类帧在本文中有时被称为音频帧或音频数据帧。

许多现代音频编解码器(例如，AC-4音频、MPEG-H音频和MPEG-D USAC音频编解码器)和视频编解码器利用可独立解码的帧(如上文所定义的“I帧”)和其它帧(例如，不可独立解码的帧，即如上文所定义的“P帧”)的概念，使得包含由此类编解码器编码的音频和/或视频内容的位流通常包含I帧和P帧。许多打包的媒体递送格式或协议(例如，MPEG-DASH(在ISO/IEC 23009-1:2012下发布的基于HTTP的动态自适应流传输)、HLS(苹果HTTP实时流传输)、MMT(MPEG媒体传输)和MPEG-2传输流格式)要求音频(或视频)内容的片段以I帧开始，以在片段边界实现无缝拼接(或切换)，并且可以受益于音频和视频片段对齐。由于音频编码器和视频编码器通常是独立运行的，并且两者都被允许在不知道对方的情况下决定何时创建I帧，因此音频I帧与视频I帧之间通常很难对齐。

发明内容