[发明专利]一种移动Web实时视频帧分割方法及系统

说明书

本发明提供一种移动Web实时视频帧分割方法及系统，方法包括：接收Web端发送的视频帧分割请求；根据视频帧分割请求向Web端反馈当前网络状态和边缘服务器端的状态信息；边缘服务器端对视频帧的实时分割性能达到设定分割性能时；在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果。本发明利用边缘服务器的高带宽、低时延特点降低了移动Web端实时获取视频帧的传输时延，以及在边缘服务器对视频帧进行分割，在保证视频帧分割效果的提前下，同时保证视频帧分割的效率。

技术领域

本发明属于视频帧分割技术领域，尤其涉及一种移动Web实时视频帧分割方法及系统。

背景技术

视频帧分割是将视频帧图像分割为具有相似属性的不同区域的过程，也是计算机视觉任务的预处理步骤。图像分割在场景理解、物体检测和3D重建等应用中起着重要的作用，并且广泛应用于增强现实、医学图像分析、自动驾驶和安全监控等领域中。将视频帧图像分割与Web技术相结合能够为移动用户提供轻量化、跨平台和普适的Web AI应用程序奠定了良好的基础，从而使得这些应用能够更好地感知并于现实世界进行交互。此外，万维网联盟(W3C)的沉浸式网络工作组和沉浸式网络社区组正积极创建沉浸式的Web平台，为开发实时的智能应用程序提供可靠的技术与工具。因此，为了在Web端上提供流畅、实时的视频帧图像分割，最重要的评估指标是实时视频帧的分割性能。

已有的视频帧分割方法都难以直接应用于移动Web应用中，无法满足实时性要求。传统的视频帧分割通常是在Web端进行或者在云端服务器进行，在Web端进行视频帧的分割，分割的效率比较高，但是分割效果不好；云端服务器分割效果比较好，但是效率不高，

发明内容

为克服上述现有问题或者至少部分地解决上述问题，本发明实施例提供一种移动Web实时视频帧分割方法及系统。

根据本发明实施例的第一方面，提供一种移动Web实时视频帧分割方法，包括：

接收Web端发送的视频帧分割请求；

根据所述视频帧分割请求向Web端反馈当前网络状态和边缘服务器端的状态信息，以使得Web端根据所述当前网络状态和边缘服务器端的状态信息，判断边缘服务器端对视频帧的实时分割性能是否达到设定分割性能；

若是，则在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果；

将所述分割处理结果反馈至Web端。

在上述技术方案的基础上，本发明还可以作出如下改进。

进一步的，所述边缘服务器的状态信息包括边缘服务器的负载，所述判断边缘服务器端对视频帧的实时分割性能是否达到设定分割性能包括：

当边缘服务器的负载未超过最大设定负载且边缘服务器对视频帧的处理频率满足设定频率时，确定边缘服务器对视频帧的实时分割性能达到设定分割性能。

进一步的，所述边缘服务器的负载包括边缘服务器的CPU负载和I/O负载。

进一步的，所述在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果包括：

边缘服务器对所述视频帧进行切分，形成多个视频帧碎片；

对多个所述视频帧碎片进行并行流处理并进行图分割处理，得到分割处理结果。

进一步的，所述对多个所述视频帧碎片进行并行图分割处理，得到分割处理结果包括：

基于超像素的预分割算法对多个所述视频帧碎片进行分割处理，得到第一分割处理结果；

基于非实时的深度学习DNN分割算法对多个所述视频帧碎片进行分割处理，得到第二分割处理结果；

利用所述第二分割处理结果对所述第一分割结果进行修正，形成最终的分割处理结果。