[发明专利]用于视频处理的系统和方法

说明书

提供了用于视频处理的系统和方法。视频处理系统包括视频图像处理流水线和编码器。视频图像处理流水线配置成处理捕获的视频数据的图像序列，并包括：图像流形成功能，配置成基于捕获的视频数据来生成各包括多个图像帧的第一图像流和第二图像流，和图像稳定功能，配置成对第一图像流进行图像稳定，从而形成稳定的图像流，其中图像流形成功能还配置成将第二图像流从图像稳定功能绕过，形成原始的图像流。编码器配置成将稳定的图像流和原始的图像流编码为联合编码图像流，联合编码图像流包括基于来自稳定的图像流和原始的图像流的图像帧的编码帧，联合编码图像流包括帧内帧和帧间帧，并且基于原始的图像流的图像帧对联合编码图像流的帧内帧进行编码。

技术领域

本发明涉及视频处理。特别地，视频处理旨在减少在处理由抖动的摄像机捕获的视频数据时需要传递和/或存储的数据量。

背景技术

对于某些视频捕获应用，需要对在捕获的视频流中的图像进行稳定，以获得更可视的视频流。对于其中用于捕获视频流的摄像机安装在移动物体如车辆上或由人佩戴的视频捕获的情形尤其如此。一个具体示例是警察佩戴的人体摄像机。对在捕获的视频流中的图像进行稳定例如可以使用电子图像稳定(EIS)来实现。

对于某些应用，例如出于证据目的，使用警察佩戴的人体摄像机捕获的视频流，可能同时需要稳定的视频流和不稳定的“原始的”视频流。然而，产生两个视频流将显著地增加传递视频信息所需的带宽以及存储视频信息所需的存储空间。因此，需要改进以减少对于“原始的”和稳定的视频信息都需要传递和/或存储的数据量。

发明内容

一个目的在于，单独地或以任何组合来减轻、缓解或消除上文表明的一个或多个现有技术的缺陷和缺点，并至少部分地解决以上提到的问题。

根据第一方面，提供了一种视频处理方法。视频处理方法包括：基于捕获的视频数据的图像序列，生成第一图像流和第二图像流，其中第一图像流包括多个图像帧并且第二图像流包括多个图像帧；将图像稳定功能应用于第一图像流，从而形成稳定的图像流；将第二图像流从图像稳定功能绕过，从而形成原始的图像流；以及将稳定的图像流和原始的图像流编码为联合编码图像流，该联合编码图像流包括基于来自稳定的图像流和原始的图像流两者的图像帧的编码帧，其中联合编码图像流包括帧内帧和帧间帧，并且其中联合编码图像流的帧内帧专门地基于原始的图像流的图像帧进行编码。

图像稳定功能可以是电子图像稳定功能。这种图像稳定功能在本领域中是众所周知的。本发明描述了一种对来自稳定的图像流和原始的视频流的视频信息进行有效地编码的方法。通过这样做，稳定的视频流和原始的、未修改的或不稳定的视频流均为可用。这在某些法庭的情况下可能是有价值的，诸如可能需要稳定的视频流和原始的视频流的人体佩戴式警察摄像机。本发明使得稳定的视频流和原始的视频流均为可用，同时满足严格的比特率预算。这是由于两个视频流被合并为一个联合视频流并依赖于“同一”帧内帧。因此，不是对这两个独立的视频流进行编码，而是形成包含这两个视频流的联合视频流。

根据本发明，将在每对帧内帧(I帧)之间编码两个序列的帧间帧(P帧)，一个包括来自原始的视频流的信息(序列O)，并且另一个包括来自稳定的视频流的信息(序列S)。使用来自原始的图像流的I帧作为帧内帧来对序列O进行编码。这对应于没有稳定的正常编码，得到编码后的原始的视频流。使用来自原始的图像流的同一I帧作为帧内帧来对序列S进行编码。这将得到编码后的稳定的视频流的视频帧序列。通过使用来自原始的图像流的I帧作为帧内帧，编码序列S将具有针对所计算的运动向量的正确残差。这可能会导致很少或没有质量损失。与编码两个完全独立的流相比，还将节省比特率。这是因为序列O和序列S可以共享I帧，仅需要不同的P帧。序列O或序列S之一可以被指定为默认流，而另一序列被标记为不显示。用户可以在流之间任意切换。在任何情况下，如果需要，两个流均可用于后期的浏览。

原始的图像流的剩余图像帧可以被编码为帧间帧。

在联合编码图像流中的原始的图像流的图像帧可以表示为非显示帧。