[发明专利]视频监控中支持解码帧率控制的虚拟VDP装置及应用

说明书

本发明公开了视频监控中支持解码帧率控制的虚拟VDP装置及应用，涉及视频处理技术领域。所述装置包括VDH模块，VPSS模块和虚拟VDP模块；VDH模块根据视频解码固件的解析结果和配置对视频码流进行解码并产生解码数据；VPSS模块接收解码后的数据并进行视频处理，将处理后的视频传输至虚拟VDP模块；虚拟VDP模块创建私有视频缓存池，与VPSS模块进行buffer轮转，并对整个通路的帧率进行控制；其中，对应虚拟VDP模块设置有帧率控制单元，其用于控制虚拟VDP模块的buffer处理速率，来控制VPSS模块处理帧率和VDH模块解码帧率。本发明在不送显场景能够显著地降低系统内存需求和硬件需求。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频监控中支持解码帧率控制的虚拟VDP装置及应用。

背景技术

在视频监控行业中，视频解码器由运行于ARM处理器的视频解码固件VFMW(videofirmware)和内嵌的硬件视频解码引擎VDH(video decoding module for highdefinition)构成。所述视频解码固件VFMW从上层软件获得码流，对码流进行解析并调用VDH，产生解码图像序列。解码后的数据流在上层软件的控制下，绑定视频处理子系统VPSS(video processing sub system)并将数据送给视频处理子系统VPSS，然后再通过视频显示处理器VDP(video display processor)模块输出到显示器或者其他设备。作为典型方式的举例，图1示例了监控视频图像的标准显示流程：（1）首先，VDP创建私有视频缓存池(即，Private VB池，全称Private video buffer pool)，以用于进行图像显示。（2）VDH调用从公共视频缓存池（即，Common VB池，全称Common video buffer pool），从公共视频缓存池获取公共VB块（即，公共缓存块）。（3）VDH解码处理完公共VB块将缓存（buffer）传给VPSS，VPSS占用传过来的公共VB块。（4）VPSS从VDP获取私有VB块（即，私有缓存块），并占用该传过来的私有VB块。（5）VPSS处理完第（4）步传过来的私有VB块后，将缓存（buffer）传给VDP，VDP占用该传过来的私有VB块。（6）VPSS调用用户子模块user_sub，释放第三步VDH传过来的公共VB块。（7）通过VDP将数据输出到显示器以显示图像。上述视频显示处理器VDP，通常是根据显示视频的实际分辨率来分配每一帧的片外帧缓存空间大小，根据实际需要的缓冲队列深度来分配帧缓存的帧数，这样可以实现缓存队列分配一定程度的自适应。

目前的安防监控系统中，在创建VDP通道（或称通路），通常是对每个通道分配恒定的帧缓存大小。其中，对于一些不需要送显的特殊场景——比如有些场景只需要正常解码，在数据送给VPSS轮转后不再需要将数据送到VDP模块送到显示——也是采用上述流程那样创建标准显示流程，并对每个通道分配恒定的帧缓存大小。上述方案一方面增加了硬件VDP设备的浪费，另一方面还会造成帧缓存内存的资源紧张和带宽的大压力。作为举例，以创建一个VDP通道为例，如果采用YUV422输出格式，假设设置三个轮转缓存（buffer），按照上述常规显示流程，VDP需要按照实际显示的尺寸创建私有视频缓存（buffer）池，比如4K@30的显示分辨率就需要创建3840*2160*2*3，大概需要47M的内存。如果创建多个通道，对于输入视频分辨率和数量确定得多路解码的应用场景，现有的显示通道创建所需要分配的帧总的缓存空间尺寸是基本固定的，其大小等于显示分辨率每帧的缓存 * 帧缓冲buffer个数 *多个通道的个数。比如有4路（VDH-VPSS-VDP通道）独立运行，按照每路3个4K显示缓存，系统就需要为VDP模块总共分配188M（即，47M*4）左右的内存。随着显示分辨率和设备个数的提升，视频显示单元的内存和带宽也显著增加，最新的超高清显示器中支持的尺寸已经达到了8K，如果还是用VDP硬件资源，大概需要分配752M左右的内存（将上述显示分辨率换成8K显示），创建显示的缓存所需要的片外存储器成本非常高。

综上所述，对于需要正常解码而不需要送显的应用场景，如何在保证VDH正常解码基础上，优化硬件资源和帧缓存大小以减小硬件资源浪费和降低系统带宽，是当前亟需解决的技术问题。