[发明专利]一种基于弱终端的在线视频流处理系统

说明书

一种基于弱终端的在线视频流处理系统，该处理系统由视频缓存模块、帧率匹配模块、图像处理模块、图像重构模块组成，所述视频缓存模块、帧率匹配模块、图像处理模块位于边缘的弱终端中，图像重构模块位于具有高算力和存储能力的服务器中，帧率匹配模块跟据缓存队列的大小，动态调整是否跳过某一视频帧。即每当读取到视频帧进行处理之前，会获取当前缓存队列的大小，当队列的大小大于某个设定阈值时不对当前帧做任何处理，继续获取下一帧，直到队列的大小小于阈值时才进行处理，以防止帧率不匹配导致大量视频帧缓存占满终端内存，本发明通过边缘计算技术的应用，可以在本地对视频进行预处理，实现对监控视频的隐私保护、数据压缩等操作。

技术领域

本发明专利涉及一种基于弱终端的在线视频流处理系统，属于计算机技术领域。

背景技术

边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供服务。对视频监控应用而言，边缘计算技术的应用，意味可以在本地对视频进行预处理，实现对监控视频的隐私保护、数据压缩等操作。这无疑将大大提升处理效率，减轻云端的负荷。

但大多数边缘设备都是计算、存储等资源有限的弱终端。一般而言，在线视频流都存在传输帧率快、分辨率大的特征，将传统的强终端的视频处理方式应用于弱终端很容易出现CPU占用率高，内存不足等问题。如何在边缘弱终端设备上对在线视频流进行处理是重要的研究问题。

发明内容

本发明提供了一种针对弱终端的在线视频流处理的解决方案，应用于视频流的边缘计算环境中，为了达到以上的目的，一种基于弱终端的在线视频流处理系统，该处理系统由视频缓存模块、帧率匹配模块、图像处理模块、图像重构模块组成，所述视频缓存模块、帧率匹配模块、图像处理模块位于边缘的弱终端中，图像重构模块位于具有高算力和存储能力的服务器中。

作为优选：所述帧率匹配模块跟据缓存队列的大小，动态调整是否跳过某一视频帧。即每当读取到视频帧进行处理之前，会获取当前缓存队列的大小，当队列的大小大于某个设定阈值时不对当前帧做任何处理，继续获取下一帧，直到队列的大小小于阈值时，才使用具体的图像处理算法对视频帧进行处理，以防止帧率不匹配导致大量视频帧缓存占满终端内存。

作为优选：所述图像处理模块：针对不同的应用需求使用具体的图像处理算法，只将图片处理的关键结果上传，并不上传完整的图片帧；定时对视频流进行背景提取，并将背景信息上传到服务器用于视频流重构，在边缘弱终端向服务器传输时，只传输图像处理算法提取到的关键信息，关键信息具体对应于不同的应用，无需传输完整的图片帧，弱终端的数据传输量大大减小且无需进行复杂的编解码，极大节约了弱终端的网络和计算资源。

作为优选：所述背景信息的传输时只对背景中变化的部分进行上传，服务器跟据背景变化信息生成当前背景，减小网络传输的负载。

作为优选：所述图像重构模块位于云服务器上，拥有足够的计算和存储资源对视频流进行处理和编码。

作为优选：所述图像重构模块跟据弱设备上传的关键结果和背景信息对图像帧进行合成，生成视频流并按照需求进行转码。

本发明通过边缘计算技术的应用，可以在本地对视频进行预处理，实现对监控视频的隐私保护、数据压缩等操作。这无疑将大大提升处理效率，减轻云端的负荷。

附图说明

图1是本发明的整体流程图。

具体实施方式

下面将结合附图对本发明作详细的介绍：如图1所示，本发明一种基于弱终端的在线视频流处理系统，该处理系统由视频缓存模块、帧率匹配模块、图像处理模块、图像重构模块组成，所述视频缓存模块、帧率匹配模块、图像处理模块位于边缘的弱终端中，图像重构模块位于具有高算力和存储能力的服务器中，所述帧率匹配模块跟据缓存队列的大小，动态调整是否跳过某一视频帧。即每当读取到视频帧进行处理之前，会获取当前缓存队列的大小，当队列的大小大于某个设定阈值时不对当前帧做任何处理，继续获取下一帧，直到队列的大小小于阈值时，才使用具体的图像处理算法对视频帧进行处理，以防止帧率不匹配导致大量视频帧缓存占满终端内存，所述图像处理模块：针对不同的应用需求使用具体的图像处理算法，只将图片处理的关键结果上传，并不上传完整的图片帧；定时对视频流进行背景提取，并将背景信息上传到服务器用于视频流重构，在边缘弱终端向服务器传输时，只传输图像处理算法提取到的关键信息，关键信息具体对应于不同的应用，无需传输完整的图片帧，弱终端的数据传输量大大减小且无需进行复杂的编解码，极大节约了弱终端的网络和计算资源，所述背景信息的传输时只对背景中变化的部分进行上传，服务器跟据背景变化信息生成当前背景，减小网络传输的负载，所述图像重构模块位于云服务器上，拥有足够的计算和存储资源对视频流进行处理和编码，所述图像重构模块跟据弱设备上传的关键结果和背景信息对图像帧进行合成，生成视频流并按照需求进行转码。