[发明专利]视频编码中的帧内图片预测系统和方法

说明书

用于为视频编码器和解码器提供帧内预测的系统和方法，其中，视频编码器和解码器根据编码块的尺寸利用适当数量的预测模式。小于N×N像素(例如，16×16像素)的编码块可具有第一数量(例如，35个)的可能帧内预测模式，以及大于或等于N×N像素的编码块具有较大的第二数量(例如，67个)的可能模式。还提供了用于对适当数量的帧内预测模式编码和解码使得需要存储和/或传输已编码信息的数据最少化的系统和方法。可针对忽略相邻块的、不是正在处理的当前块的可能模式的候选帧内预测模式的每个块生成候选模式列表，使得视频编码器和解码器可在各种尺寸的块之间处理适当数量的模式。

技术领域

本公开大体涉及视频处理，并且更具体地，涉及帧内预测系统和方法。

背景技术

诸如数字化图像、语音/音频、图形和视频的数字多媒体的出现显著地改善了各种应用并且开辟了全新的应用，因为通过其相对容易实现可靠的存储、通信、传输和搜索以及实现对内容的访问。总体上，数字多媒体的应用众多、涵盖范围广，包括娱乐、信息、医药和安全，并且已经以诸多方式使社会受益。通过传感器(诸如，相机和麦克风)所捕获的多媒体通常是模拟形式，并且通过脉冲编码调制(PCM)形式的数字化过程对其进行数字化。然而，紧接于数字化之后，所得到的数据的量可能非常大，因为需要重新创建扬声器和/或TV显示器所需的模拟表现形式。因此，大容量的数字多媒体内容的高效的通信、存储或传输要求其从原始PCM形式被压缩成经压缩的表现形式。因此，发明了用于压缩多媒体的诸多技术。多年来，视频压缩技术的发展得已非常成熟，这些技术通常可在保留高的心理视觉质量的同时实现处于10和100之间的高压缩系数，通常类似于未压缩的数字视频。

虽然在视频压缩的技术和科学领域中，迄今已取得了巨大的进步(如通过大量标准机构驱动的视频编码标准(诸如，MPEG-1、MPEG-2、H.263、MPEG-4第二部分、MPEG-4AVC/H.264、HEVC、AV1、MPEG-4SVC和MVC)以及工业驱动的专有标准(诸如Windows Media Video、Real Video、On2 VP等)所展现的那样)，但是，消费者对于随时随地可访问的甚至更高质量、更高清晰度以及目前的3D(立体声)视频的日益增长的兴趣，已经使得通过诸如DVD/BD、无线广播、电缆/卫星、有线和移动网络的各种方式传递至一系列客户端设备(诸如，PC/膝上型电脑、电视、机顶盒、游戏机、便携式媒体播放器/设备、智能电话以及可穿戴计算设备)成为必然，从而刺激了对于更高水平的视频压缩的期望。在标准机构驱动的标准中，ISOMPEG最近在高效视频编码方面开始的尝试证实了这一现象，其期望将新的技术贡献和来自对ITU-T标准化部门的H.265视频压缩的数年的探索性研究的技术相结合。

全部上述标准采用常规的帧内/帧间预测编码框架，以减少已编码的比特流中的空间和时间冗余。帧间预测的基本构思是：通过使用块匹配方法消除相邻图片之间的时间关联性。在编码过程开始时，未编码视频序列的每个帧组合成I型帧、P型帧和B型帧这三个类别之一。I型帧是帧内编码的。换言之，仅使用来自帧本身的信息对图片进行编码，并且没有使用帧间运动补偿技术(尽管可应用帧内运动补偿技术)。

其他两种帧类型，P型和B型，使用帧间运动补偿技术来编码。P图片和B图片之间的差异在于用于运动补偿的参照图片的时间方向。P型图片按照显示顺序使用来自先前图片的信息，然而，B型图片可按照显示顺序使用来自先前和未来图片二者的信息。

对于P型帧和B型帧，之后将每个帧划分成通过每个像素的亮度和色度分量的系数表示的像素块，并且针对每个块获得一个或多个运动矢量(因为B型图片可使用来自未来和过去显示的帧二者的信息，所以对于每个块，可对两个运动矢量进行编码)。运动矢量(MV)表示从当前块的位置到另一个先前已编码帧(可以是按照显示顺序的过去帧或未来帧)中的相似块的位置的空间位移，上述块和帧分别被称为参考块和参考帧。计算参考块和当前块之间的差异以生成残差(也称为“残差信号”)。因此，对于帧间编码帧的每个块，仅需要对残差和运动矢量编码，而不是对块的全部内容编码。通过消除视频序列的帧之间的这种时间冗余，可对视频序列进行压缩。