[发明专利]传感器辅助的码率控制方法

说明书

本发明提供了基于运动数据确定量化步长以便对视频进行编码的方法和系统。接收由图像捕捉装置捕捉的视频。所述视频包括视频帧分量。此外，接收与所述视频帧分量相关联的运动数据。另外，基于所述运动数据确定量化步长以便对所述视频帧分量进行编码。

背景

可以通过各种方法对所捕捉的视频(如无人飞行器(UAV)所捕捉的视频)进行编码。然而，用于UAV的视频编码方法和系统可能不是很理想。例如，当对来自UAV的捕捉到的视频进行编码和传输时，尤其是当视频包含大量移动时，可能会发生包丢失。

已经针对包括监视、搜救行动、勘探以及其他领域在内的宽范围的应用开发了诸如UAV之类的飞行器。这类UAV经常可以在机上搭载用于视频捕捉的相机模块。UAV所捕捉的视频可能会包含大量移动。

发明内容

保持恒定比特率(CBR)是现代视频编码技术的重要方面。当随着时间推移供应给解码器的比特数量保持恒定(例如，在预定阈值内)时，可以保持CBR。保持CBR对于通过网络传输数据(如视频)来说是重要的。具体来说，当传输的数据的比特率波动时，可能会导致包丢失和/或信号丢失。当在视频编码过程的解码器侧使用编码图片缓冲器(CPB)来处理数据(如视频)时，保持恒定比特率也是重要的。具体来说，当正被处理的数据的比特率波动时，解码器缓冲器可能发生溢流。如此，在最初对数据进行编码时控制比特率是在使用编码处理器时的一项重要的突破。

因此，需要用于对从图像捕捉装置获得的视频进行编码以便当对视频数据进行解码时保持CBR的改进方法和系统。视频捕捉装置可以由如无人飞行器(UAV)之类的无人载运工具承载。提供了用于通过利用来自与UAV相关联的传感器的信息对由视频捕捉装置(如UAV上的视频捕捉装置)捕捉的视频进行编码的方法。在某些实施方式中，视频捕捉装置可以捕捉包括运动数据的视频。此外，UAV可以使用与所述UAV相关联的传感器来捕捉可用于生成光流场的信息。当所捕捉的视频与基于在与视频相似的时间所捕捉的传感器信息的相关光流场对准时，所产生的信息可用于对视频数据进行高效编码。具体来说，对准的视频和光流场数据可用于高效地分配比特和/或选择量化步长以便对视频帧分量的各部分进行编码。具体来说，本文中所描述的系统和方法可用于识别视频帧的具有高运动度的区域并且当对视频帧分量的与高运动度相关联的部分进行编码时可以分配更多比特和/或利用更高的量化步长。例如，更高的量化步长可用于对与高运动度相关联的第一视频帧进行编码，而较小的量化步长可用于对与不是高运动度的运动度相关联的第二视频帧进行编码。当视频帧内的运动度超过阈值运动度时，可以确定高运动度。另外，可以基于视频帧内的移动度来评定运动度。此外，可以基于与视频帧分量相关联的光流场来确定与所述视频帧分量相关联的运动数据。因此，方法可以涉及分配比特和/或选择量化步长以便基于来自光流场的信息对视频数据进行编码。具体来说，光流场可以与视频数据相对准以便提高视频编码过程的效率。

使用来自UAV的传感器数据所生成的光流场可用于对与所生成的光流场对准的视频数据进行高效编码。可以由位于UAV、视频捕捉装置、或搭载于UAV上的载体处的一个或多个处理器对所述视频数据进行编码。可以由在UAV外部的一个或多个处理器(如通信地连接至UAV的用户终端)对所述视频数据进行编码。此外，可以在UAV处生成光流场。备选地，可以在通信地连接至UAV的外部位置处生成光流场。用于生成光流场的传感器信息可以在UAV处被检测到。此外或备选地，可以从通信地连接至UAV的外部源将用于生成光流场的传感器信息提供给UAV。因此，可以使用基于与UAV相关联的传感器数据所生成的光流场来对由视频捕捉装置所捕捉的视频数据进行高效编码。