[发明专利]一种基于web的分离式前端图像渲染方法

说明书

本发明提供一种基于web的分离式前端图像渲染方法，其特征在于，用于让客户端根据web服务器输出的渲染元素以及摄像头采集的视频数据渲染结合成客户端所要显示的前端图像，渲染元素由算法服务器基于视频数据处理生成并发送给web服务器，包括如下步骤：步骤S1，将web服务器输出的渲染元素做标准化操作；步骤S2，计算算法侧视频数据到达时延；步骤S3，计算算法执行时间、算法结果传输时间、服务器处理时间以及渲染传输时间；步骤S4，计算户侧视频数据到达时延；步骤S5，客户端对摄像头传输的视频数据进行解析，并计算渲染元素与视频数据到达的时间差，进一步基于该时间差获取与渲染元素对应帧的视频数据并在显示界面上做逐帧渲染展示。

技术领域

本发明属于数字图像处理领域以及web应用领域，涉及一种视频图像的渲染方法，具体涉及一种基于web的视频图源与叠加素材分离的前端图像渲染方法。

背景技术

智能视频分析在当今社会发挥着重要作用，通过视频分析算法实现各种监控业务在各行各业存在着广泛的应用。通过智能视频分析以达到告知、示警等作用，往往会将分析后的画面叠加一些形状、文字、图标等信息，将渲染后的画面送往监控大屏幕、流媒体服务器、用户PC显示器等。一般来说，使用智能视频分析做画面展示有以下几种方法：

1.使用智能摄像头或边缘计算设备，直接在视频摄取处实现智能分析计算，将分析结果数据和渲染画面上传服务器；

2.将视频传到服务器上，在服务器开视频启算法进行分析，直接展示分析后的渲染画面和报警信息；

3.将视频传到专用的算法服务器上进行分析，将分析结果再传送到监控业务的服务器上。

上述几种方法都有各自的弊端：

第一，使用智能摄像头或边缘计算设备，受制于设备性能，无法做大规模的复杂运算，因此视频分析算法的准确度、速度和智能化都有上限；第二，在服务器端做视频分析，则造成服务器的计算压力过大，受限于计算资源和监控系统的架构，无法分析过多数量的视频；第三，就视频分析算法利用的充分性来说，使用专用的视频分析算法服务器是最好的，能够充分利用专用计算资源给算法提供算力，并且不受数量限制。但是，第三种方法在需要在总控台做大屏幕展示时，会面临图像传输的问题：一系列渲染好的图片在网络中传输需要很大的带宽，若将图片压缩编码成视频流则延时过大，并且视频过多时仍会造成服务器的压力。

对视频数据做轻度分析，适合使用智能摄像头或边缘计算；分析少量路数的视频，可以在服务器上执行视频图像分析算法。目前市场上对多路视频进行分析的主流方法是使用专门视频图像分析算法的服务器，对于业务需求提供视频分析结果。如果需要在总控台做大屏幕展示，将任意多路视频经算法渲染的画面实时显示出来，往往需要订制专门的客户端，或者专用流媒体服务。这些方法一方面实现手段复杂，效率低下，并且因存在重复编解码、转发等环节进一步增加了时延，且技术上不具备通用性。

发明内容

为解决上述问题，提供一种通过客户端分别获取视频图像源与算法分析结果并完成实时融合渲染的方法，从而避免大量图像在传输过程中对服务器和网络造成的压力，本发明采用了如下技术方案：