[发明专利]基于优先级的气象水文数据处理调度系统

说明书

本发明涉及数据处理调度技术领域，具体地说，涉及基于优先级的气象水文数据处理调度系统。其方法包括如下步骤：计算先验值；任务分类；任务处理；计算负载；计算节点排序；任务调度。该基于优先级的气象水文数据处理调度系统中，根据任务紧急程度定义将任务分为权重任务和无权重任务，分别对权重任务和无权重任务进行处理，便于对有效的气象水文数据进行优先处理，提高处理效率，计算节点负载量，并根据各个计算节点负载量进行排序，将任务队列队首任务匹配计算节点队列队首节点，实现负载调节，进一步提高调度运算效率。

技术领域

本发明涉及数据处理调度技术领域，具体地说，涉及基于优先级的气象水文数据处理调度系统。

背景技术

随着气象水文科技的进步使气象水文数据质量得以提高，同时气象水文数据的体量急剧增长，目前，气象水文数据处理采用同步传输，对于有效的气象水文数据无法优先处理，同时，气象水文数据处理时，无法根据节点负载进行调节，导致整体气象水文数据处理效率低。

发明内容

本发明的目的在于提供基于优先级的气象水文数据处理调度系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供基于优先级的气象水文数据处理调度系统，其方法包括如下步骤：

S1、计算先验值，根据各个并行节点反馈到调度节点上的处理时间，取平均值；

先验值是动态更新的，这种动态更新使先验值的存在更具参考性，当节点上反馈新的该类产品生产时间信息时，和该先验值再取平均值作为新的先验值。得到的先验值在调度中的数据结构，用Map型数据结构方式记录下来，Key代表是计算节点处理的任务类型，Value是代表节点处理此类型任务所用的时间。

S2、任务分类，根据任务紧急程度定义，(权重即任务的紧急程度，由提交任务指定)将任务分为权重任务和无权重任务；

S3、任务处理，分别对权重任务和无权重任务进行处理；

S4、计算负载，计算各个计算节点负载量；

S5、计算节点排序，根据各个计算节点负载量进行排序；

S6、任务调度，任务队列队首任务匹配计算节点队列队首节点。

作为优选，所述S3中，权重任务的处理方法包括如下步骤：

S1.1、进行权重比较；

S1.2、根据权重大小顺序将任务放入任务队列。

作为优选，所述S3中，无权重任务的处理方法包括如下步骤：

S2.1、获取待处理任务的基本信息(包括任务量大小、作业类型、等待时间等)；

S2.2、获取之前处理该待处理任务的类型作业的时间；

S2.3、预估执行时间。

作为优选，所述S2.3中，预估执行时间的公式为：

T_i＝αT_wait(i)+βT_xi(S_i,T_type(i)),α+β＝1……(式1)；

其中，T_i为第i个任务的加权时间和；S_i为第i种任务的任务量；T_wait(i)为执行S_i需等待时间，刚进入队列时，初始化T_wait(i)为0；T_type(i)为任务的类型；用这个值可以查阅每种类型任务的平均执行时间，做出任务执行时间的参考；任务队列用Q＝{T1，T2，…，Tn}表示，其中i＝1，2，3，…，n，考虑到每个任务从提交到执行会有一个等待时间T_wait(i)。