[发明专利]分布式计算平台下基于QoS约束的视频流处理方法和系统

权利要求书

1.一种分布式计算平台下基于QoS约束的视频流处理方法，其特征在于，包括以下步骤：

(1)获取用户提交的视频流数据处理请求，该视频流数据处理请求包括视频流数据的来源信息、视频流数据的处理函数、视频流数据的分组函数和聚合函数、以及处理函数使用的视频流数据的初始值d，其中d为任意大于0的正整数；

(2)根据步骤(1)获取的视频流数据的函数中数据之间的依赖关系建立处理序列，并根据步骤(1)获取的视频流数据处理请求中视频流数据的函数的类型将该处理序列划分为多个处理阶段，所有的处理阶段构成处理阶段集合S＝{S₁，S₂...S_m}，其中m表示处理阶段集合中的处理阶段总数；

(3)针对步骤(2)得到的处理阶段集合S中仅包括处理函数的每一个处理阶段而言，利用模拟退火启发式搜索算法获得该处理阶段内每个处理函数小于其最大时延L、最小准确度A并且使用系统资源价值最低的处理函数配置信息，所有的处理函数配置信息构成处理函数配置信息集合Q＝其中处理函数配置信息表示处理函数的配置信息是由处理阶段集合S中第x1个处理阶段S_x1中第x2个处理函数P_x2产生，x1∈[1，m]，x2∈[1，nx2]，nm为处理阶段集合S中第m个处理阶段的处理函数总数，nx2为处理阶段集合S中第x2个处理阶段中处理函数的总数；

(4)针对步骤(2)得到的阶段集合中每个处理阶段中的每个处理函数而言，根据步骤(1)得到的处理函数的最大时延L以及步骤(3)得到的处理函数配置信息确定该处理函数的视频流窗口，将每个处理阶段的所有处理函数的视频流窗口中的最小视频流窗口作为该处理阶段对应的视频流窗口，所有处理阶段的视频流窗口构成集合NS＝{NS₁，NS₂，...，NS_m}；

(5)针对步骤(2)得到的处理阶段集合S中仅包括处理函数的每一个处理阶段而言，根据每个处理阶段内处理函数中数据之间的依赖关系建立该处理阶段对应的有向无环图，所有处理阶段对应的有向无环图构成有向无环图集合H；

(6)对于步骤(5)得到的处理阶段集合S对应的有向无环图集合中的每个有向无环图而言，使用广度优先遍历算法将该有向无环图划分为多个层次，所有层次构成该有向无环图对应的层次集合B＝{B₁，B₂，...B_num4}，其中B_count表示有向无环图中的第count层，num4表示划分的层次总数，且count∈[1，num4]；

(7)根据步骤(6)得到的每个有向无环图对应的层次集合B确定与该有向无环图对应的处理阶段的资源分配总量集合和并行通量，并从处理阶段集合S的所有资源分配总量集合和所有并行通量中选择最大资源分配总量集合Umax和最大并行通量kmax；

(8)向集群管理结点申请启动kmax个任务的进程，将最大资源分配总量集合Umax分配给每个进程，并从集群管理结点获取每个进程的网络地址，所有进程的网络地址组成集合

(9)使用步骤(3)获取的处理函数配置信息集合Q中每个处理函数对应的可更改参数集合替换步骤(2)得到的处理阶段集合S中处理阶段内对应处理函数对应的可更改参数集合，并将处理阶段集合S中的每个处理阶段对应的视频流窗口设置为步骤(4)获取的对应处理阶段对应的视频流窗口，并将处理阶段集合S中的每个处理阶段封装成单个任务，所有任务构成任务集合E＝{E₁，E₂，...，E_m}，其中E_num5表示第num5个处理阶段封装成的任务，且num5∈[1，m]；

(10)针对步骤(9)得到的任务集合中的每一个任务而言，将该任务复制kmax份，并根据步骤(8)得到的网络地址集合中的网络地址将复制后的kmax份任务发送给所有进程，并接收每个进程在执行任务过程中每隔周期T返回的进程执行信息PE_t5，其中所有进程执行任务期间返回的任务执行情况构成进程执行信息集合PE＝{PE₁，PE₂，...，PE_kmax}，其中t5∈[1，k_max]，T为任意大于零的自然数；

(11)根据步骤(10)获得的进程执行信息集合PE将所需转移剩余处理时间长的进程待处理的视频流数据转移到所需剩余处理时间短的进程。