[发明专利]用于编码视频流的方法

说明书

本公开涉及用于编码视频流的方法。该方法包括：获取具有第一分辨率的视频流的像素数据；从视频流的像素数据中提取与感兴趣区域相对应的裁切，该裁切具有第一分辨率；将视频流的像素数据缩小成具有低于第一分辨率的第二分辨率的缩小的视频流；通过一个或多个视频处理操作来处理缩小的视频流；通过一个或多个视频处理操作来处理裁切；将处理后的缩小的视频流放大成具有第一分辨率的放大的视频流；将处理后的裁切和放大的视频流合并成合并的视频流；以及编码合并的视频流。本公开还涉及视频编码装置。

技术领域

本发明涉及视频技术领域。更具体地，本发明涉及用于编码视频流的方法。

本发明还涉及视频编码装置。

背景技术

对高分辨率视频和照相机的需求日益增长。它可以是诸如鱼眼等广角照相机、全景照相机或者简单的高分辨率照相机。这些类型的照相机需要高数据吞吐量，这又需要高性能的视频处理电路，而这些电路通常非常耗电。同时，对低能耗的环保照相机也存在需求。因此，将这些高性能视频处理电路用于更主流的监控照相机与使技术更加绿色环保的需求相冲突。

因此，在提供高分辨率视频的同时却保持低能耗是需要改进的。

US2021105488公开了视频编码方法。该方法包括以下步骤：获取视频帧；选择视频帧内的一个或多个感兴趣区域；以第一分辨率编码所述或者每个感兴趣区域；以及以第二分辨率对基础层进行编码，其中基础层包括未包含在感兴趣区域或者每个感兴趣区域内的视频帧的至少一部分。第一分辨率高于第二分辨率。

发明内容

鉴于以上所述，本发明的目的是提供以更加能量有效和计算能力有效的方式来编码视频流的方法。

已经意识到，通过在图像处理管线中很早地(诸如在捕获之后)缩小不描述任何感兴趣区域的图像数据，可以节省计算能力，从而也节省能耗。仅将感兴趣的区域以全分辨率处理，以满足视频的高分辨率需求。

根据第一方面，提出了用于编码视频流的方法。该方法包括：获取具有第一分辨率的视频流的像素数据；从视频流的像素数据中提取与感兴趣区域相对应的裁切，该裁切具有第一分辨率；将视频流的像素数据缩小成具有低于第一分辨率的第二分辨率的缩小的视频流；通过一个或多个视频处理操作来处理缩小的视频流；通过一个或多个视频处理操作来处理裁切；将处理后的缩小的视频流放大成具有第一分辨率的放大的视频流；将处理后的裁切和放大的视频流合并成合并的视频流；以及对合并的视频流进行编码。一个或多个视频处理操作包括降噪功能、旋转功能、图像传感器校正功能、图像缩放功能、伽马校正功能、图像增强功能、颜色空间转换功能和色度子采样功能中的至少一个。

术语“像素数据”在本文意指视频流的数据包括关于视频流的像素值的信息。

术语“分辨率”在本文意指视频流的每个维度(即宽度和高度)上的像素数量。有鉴于此，术语“放大”和“缩小”分别指代分辨率的增加和降低。

术语“感兴趣区域”在本文表示视频流中描述的场景中特别感兴趣的区域。基于例如场景中的运动、在场景中检测到的或者在场景的特定区域出现的特定对象，区域可能是感兴趣的。

应当注意，缩小的视频流和裁切优选地通过相同的视频处理操作来处理。这种处理简化了处理后的裁切和放大的视频流的后续合并。

应当注意，合并的视频流具有高于第二分辨率的分辨率。合并的视频流优选地具有第一分辨率。

如上所述，可能的相关优点是仅将描述感兴趣区域的视频流部分以全分辨率进行处理。视频流的其余部分以缩小的形式进行处理，从而有助于减少处理视频流的装置的计算负载。在处理之后，视频流的缩小部分被放大，以匹配裁切的分辨率。这允许将现在放大的视频流与处理后的裁切进行合并，以形成合并的视频流。至少，合并的视频流中属于感兴趣区域的部分将具有原始的第一分辨率。此外，由于对缩小的视频流的处理，本方法实现了节省存储器带宽。