[发明专利]低延迟视频编码和传输的速率控制

说明书

一种视频编码系统，其中在编码之前将像素数据分解成频带。可以缓冲帧的条带的该频带，使得可以在编码之前计算频带上的复杂性统计值。该统计值然后可由速率控制部件用于确定该频带的量化参数，以用于调制编码器中的针对当前条带的速率。可以联合地计算频带的量化参数，以在接收设备上的解码器重构和小波合成之后优化所显示的帧的质量。关于一个或多个先前处理的帧的信息可与当前条带的统计值结合用于确定该当前条带的该量化参数。

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图组合，以增强用户的世界视图或向用户的世界视图添加内容，或者另选地将真实世界对象的虚拟表示与三维(3D)虚拟世界的视图组合。因此，虚拟现实的模拟环境和/或混合现实的混合环境可用于为多种应用提供交互式用户体验。

发明内容

描述了视频编码系统的各种实施方案，该视频编码系统可以以低延迟来编码高分辨率视频源以通过通信链路(例如，无线链路)传输到设备以用于解码和显示。该视频编码系统的实施方案还可提供被传输到设备的编码视频的适度降级，以在变化条件(诸如通信链路的信道容量的变化)下维持期望的帧速率。该视频编码系统的示例性应用是在虚拟或混合现实系统中，其中包含虚拟内容的视频帧由基站渲染、编码并传输到设备(例如，笔记本电脑或膝上型计算机、平板电脑或平板设备、智能电话或头戴式显示器(HMD)，诸如可由用户佩戴的头戴式耳机、头盔、护目镜或眼镜)以用于解码和显示。

在一些实施方案中，该视频编码系统可以在编码之前对像素数据执行小波变换，以将像素数据分解成频带。然后将频带组织成块，该块提供给基于块的编码器以用于编码/压缩。然后将编码的频率数据发送至无线接口，该无线接口对编码的频率数据进行分组并将分组传输至接收设备。在接收设备上，该编码数据被解分组并传递通过基于块的解码器以恢复频带。然后对所恢复的频带执行小波合成以重构像素数据以用于显示。

该视频编码系统可实现各种方法和装置，以维持通过无线链路的目标帧速率，并使帧渲染、传输和显示的延迟最小化，并且提供被传输到设备的编码视频的适度降级，以在变化条件(诸如无线连接的信道容量的变化)下维持期望的帧速率。

实现视频编码系统的实施方案的系统的目标可以是在基站上渲染虚拟内容的时间和在设备上显示该虚拟内容的时间之间提供非常低的延迟(例如，4毫秒-5毫秒)，同时使错误(例如，丢弃分组)最小化并使通过无线连接的带宽使用最大化。该视频编码系统的实施方案可实现速率控制方法，以在对要通过无线连接传输到设备的数据进行编码时帮助实现该系统的目标低延迟。

在一些实施方案中，该视频编码系统包括：执行二层小波分解的小波变换部件，该二层小波分解将来自帧的条带的像素块分解成多个不同的频带；以及基于块的编码器，诸如编码该频带的HEVC。在一些实施方案中，为了在VR/MR系统的严格延迟要求下执行速率控制，速率控制部件可针对每个条带调整编码器参数(例如，频带的量化参数)，而不是就一个帧或两个帧的时间常数进行工作来调整编码器参数。在一些实施方案中，可以在小波变换之后在局部存储器中缓冲条带的频带，使得可以在编码之前计算该频带上的复杂性统计值，例如通过视频编码系统的复杂性分析部件。在一些实施方案中，复杂性统计值可包括但不限于CTU块的像素梯度和大小方差中的一者或多者。该复杂性统计值然后可由速率控制部件用于确定该频带的量化参数，以用于调制编码器中的针对当前条带的速率。对缓冲的频带计算复杂性统计值允许该视频编码系统在编码条带之前估计条带中的复杂性程度。

在一些实施方案中，该速率控制部件可检查一个或多个先前处理的帧的统计值，以确定用于对该帧的共址(co-sited)块或条带进行编码的实际比特数。然后，该信息可与当前条带的复杂性统计值结合用于确定当前条带的量化参数。