[发明专利]一种基于DQN算法原理的工作流调度方法

权利要求书

1.基于DQN算法原理的工作流调度方法，其特征在于：所述工作流调度系统包括工作流实例处理模块、状态观测模块、双DQN训练模块、智能化综合调度模块四大部分。工作流实例处理模块负责将总体状态信息解析为对应格式的数据并生成初始的DAG图；双DQN训练模块基于工作流实例处理模块解析得到的结构化数据训练并整定模型参数；状态观测模块负责在训练整定参数和输出调度结果的过程中为双DQN训练模块和智能化综合调度模块提供每一步训练和调度结果输出的状态特征计算。

2.根据权利要求1所述的基于DQN算法原理的工作流调度方法，其特征在于：采用TCP/IP协议与目标OA系统实现数据和调度结果信息的交互。整个交互流程通过HttpRequest的方式实现，具有轻量化松耦合的特点。在数据信息交互部分，发明提出在目标OA客户端实现大数据分析计算和建模的方法，并给出了回调时的数据结构，运用边缘计算方法减轻服务器压力。

3.根据权利要求1所述的基于DQN算法原理的工作流调度方法，其特征在于：运用强化学习算法解决办公自动化领域的工作流实例综合调度问题，将DDQN网络与办公自动化领域各项状态参数的结合，从而构建了双DQN训练模块、智能化综合调度模块。前者通过在线无监督的方式进行参数的整定，为后者的综合调度输出提供网络参数。

4.根据权利要求3所述的双DQN训练模块，其特征在于：所述模块采用双DQN(DDQN)强化学习方法整定Q值网络的参数。所述Q值网络采用人工神经网络进行构建，结构适应于办公自动化领域，由输入层、双隐层、输出层构成。发明提出了如下7个状态观测特征，组成了DDQN网络的输入向量：办公人员/组的时间平均利用效率、办公人员/组的时间平均利用效率标准差、平均办理进度、办理时间标准差、预计延迟率、实际延迟率、平均办结时间。具体计算公式见说明书。

5.根据权利要求4所述的Q值网络，其特征在于：所述Q值网络的输出为7维独热码，代表从7个调度规则中选择一种进行状态转换。发明提出了7中适应于办公自动化领域的调度规则，Q值网络的输出不是具体的调度步骤，而是先选择调度规则，再由具体的调度规则执行器计算得出应执行的工作流实例、应进行的工作流活动实例以及办理该工作流活动的办公人员。

6.根据权利要求1所述的工作流实例处理模块，其特征在于：采用本发明提供的任务DAG图构建方法和剩余任务节点DAG图构建方法进行数据解析。该模块首先通过解析前提条件删除环结构、而后构建DAG图。当某个DAG图对应的工作流实例已经有部分工作流活动实例被执行，则对剩余的未执行工作流活动构建生成剩余任务节点DAG图。

7.根据权利要求1所述的双DQN训练模块和智能化综合调度模块的动作执行算法部分，其特征在于：对DAG图进行更新的算法按照本发明提出的方法进行。所述方法步骤如下：

1)通过检查DAG矩阵的全零列输出可执行任务节点

2)根据Q值网络输出的7维独热码选择需要被执行的特定任务节点并执行，将被执行的节点对应的DAG矩阵行赋值为全零行

3)将第二步中被执行任务节点对应的某个行列元素赋值为1

4)通过检查DAG图对角线元素是否全部为1判断DAG图对应的任务是否完成

5)如执行完成则返回动作序列和奖励，若未执行完成则重复执行1)至5)

所述算法可参见附图7。