[发明专利]分布式计算平台下基于QoS约束的视频流处理方法和系统

说明书

本发明公开了一种分布式计算平台下基于QoS约束的视频流处理方法，其首先针对视频流处理特性将QoS定义为算子的准确度以及时延，并且基于此重新定义了视频流数据处理的编程模型。再将该模型发布至分布式处理框架，平台根据用户提交的处理过程，首先对各个算子进行分析，预先确定需求的准确度以及时延需求的资源量。再根据应用的数据依赖关系，对多个算子组合的情况(串行、并行、串行转并行、并行转串行)估计整个应用处理过程中应该分配的资源判断是否能满足要求并且根据之前的对算子的分析能够得到处理时间的估计时延。然后根据时延情况以及数据流的输入得到数据处理的窗口大小，再根据用户预估的视频流通路数对资源的总量进行估计。

技术领域

本发明属于分布式计算技术领域，更具体地，涉及一种分布式计算平台下基于QoS约束的视频流处理方法和系统。

背景技术

随着视频处理技术的不断提升，摄像头的部署数量也不断在增加，这也意味着越来越多的实时视频流需要得到及时的处理。视频流处理由于其数据量大、计算量也大，数据时效性强等特点，不但对软硬件平台要求高，应用开发也相对复杂，一直是一个门槛较高的研究领域。

现有的大数据处理平台(例如Spark、Flink、Storm等)都提供了数据流处理模型，并且提供自动的数据分割、任务调度、负载均衡、数据缓存、数据通信等功能，其大幅度降低了系统开发的复杂度，并能够适应大容量和高并发的高通量需求；此外，其还能够直接通过增加计算资源，在不修改软件的前提下提升视频的处理性能和计算规模。

然而，现有基于大数据处理平台的数据流处理模型仍然具有一些不可忽略的技术问题：第一、由于该数据流处理模型仅仅只能适用于处理固定的数据流处理任务，其先对任务进行划分，然后在各个处理器上对划分后的任务并行执行，却无法对任务参数进行修改，因此无法满足不同用户对任务的具体需求(例如不同任务对应的处理时延和准确度等)；第二、由于该数据流处理模型是根据系统的运行效率或用户的设定进行系统资源的分配和调度，而不能根据任务的具体需求(例如不同任务对应的处理时延和准确度等)进行分配和调度，从而会造成系统资源分配和调度的效率偏低；第三、由于该数据流处理模型主要基于用户自身定义每次处理的数据流处理窗口(即每次处理的视频流数据量)，在处理模型的处理量过大时，会导致用户不能及时得到响应。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种分布式计算平台下基于QoS约束的视频流处理方法和系统，其目的在于，解决现有基于大数据处理平台的数据流处理模型由于无法对任务参数进行修改，因此无法满足不同用户对任务的具体需求的技术问题，以及由于不能根据任务的具体需求进行分配和调度，导致系统资源分配和调度的效率偏低的技术问题，以及由于该数据流处理模型主要基于用户自身定义每次处理的数据流处理窗口，导致处理模型的处理量过大时，用户不能及时得到响应的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种分布式计算平台下基于QoS约束的视频流处理方法，包括以下步骤：

(1)获取用户提交的视频流数据处理请求，该视频流数据处理请求包括视频流数据的来源信息、视频流数据的处理函数、视频流数据的分组函数和聚合函数、以及处理函数使用的视频流数据的初始值d，其中d为任意大于0的正整数；

(2)根据步骤(1)获取的视频流数据的函数中数据之间的依赖关系建立处理序列，并根据步骤(1)获取的视频流数据处理请求中视频流数据的函数的类型将该处理序列划分为多个处理阶段，所有的处理阶段构成处理阶段集合S＝{S₁,S₂…S_m}，其中m表示处理阶段集合中的处理阶段总数；