[发明专利]基于感兴趣区域的视频编码

说明书

一种视频处理单元可包括基于非对象的感兴趣区域检测神经网络、阈值选择模块和感兴趣区域图生成器。所述基于非对象的感兴趣区域检测神经网络可被配置成接收视频帧并生成多个候选基于非对象的感兴趣区域块。所述阈值选择模块可被配置成接收多个候选基于非对象的感兴趣区域块并基于预定阈值标识多个选择的感兴趣区域块。所述感兴趣区域图生成器可被配置成接收所述选择的基于非对象的感兴趣区域块并生成感兴趣区域图。

背景技术

许多技术被用于减少由视频的传输或存储消耗的数据量。一种常见技术是使用视频帧数据的可变比特率编码。例如，第一比特率可用于对一个或多个感兴趣区域(ROI)进行编码，而第二比特率可用于对一个或多个非感兴趣区域进行编码。

参考图1，示出根据常规技术的视频处理系统。该视频处理系统可包括人工智能(AI)加速器110、中央处理单元120和视频编码器130。在一个实现方式中，人工智能(AI)加速器110可以为图形处理单元(GPU)。人工智能(AI)加速器110可包括基于对象的感兴趣区域(OB-ROI)检测器神经网络140。基于对象的感兴趣区域(OB-ROI)检测器神经网络140可接收视频帧150的流。基于对象的感兴趣区域(OB-ROI)检测器神经网络(NN)140可被配置成生成多个候选基于对象的感兴趣区域(OB-ROI)块160。在一个实现方式中，基于对象的感兴趣区域(OB-ROI)检测器神经网络140可以为深度神经网络(DNN)，该DNN包括用于确定基于对象的感兴趣区域(NOB-ROI)块160的回归网络和用于对象检测的分类网络。在一个实现方式中，候选基于对象的感兴趣区域(OB-ROI)块160可包括感兴趣区域的确定概率(例如，置信度分数)、感兴趣区域的对象类型等。在一个实现方式中，关联概率可包括给定感兴趣区域包括给定对象类型的对象的至少一部分的概率。例如，基于对象的感兴趣区域(OB-ROI)检测器神经网络140可确定存储块是否包括多种对象类型中的一种类型的对象和该对象类型的概率。因此，如本文所使用的术语基于对象的感兴趣区域(OB-RIO)检测通常是指对数据集内的对象的标识，其还包括对关联对象类型的标识。可将不包括多种对象类型中的一种类型的对象的存储块分类为非感兴趣区域。存储块可以为像素值的16x16、64x64或类似矩阵。对象分类可能消耗人工智能(AI)加速器上的大量处理带宽。例如，在典型图形处理单元(GPU)上对视频帧的基于mobilenet_v2的流的分类可能消耗图形处理单元(GPU)的处理带宽的大约12％以及对应的功耗量。