[发明专利]一种基于DQN算法原理的工作流调度方法

说明书

本发明公开一种基于DQN算法原理的工作流调度方法。本发明属于办公自动化领域，用于OA工作流的优化。所述工作流调度系统分为工作流实例处理模块、状态观测模块、双DQN训练模块、智能化综合调度模块四大部分。所述工作流调度系统对OA系统业务流转过程提供辅助办公提示——包括流转决策以及办理优先级，最终达到提升办公效率和质量的目的。为此本发明设计了用于处理智能服务请求的DQN多规则选择算法模块，按照在开发应用过程中提供的团体接口标准以及数据库架构设计方案实施落地。该算法通过强化学习方法与深度学习网络对当前OA系统工作流引擎运行状态进行特征分析，通过从规则库中选择恰当的规则进而给出工作流调度方案的智能推荐。

技术领域

本发明涉及OA智能化技术范畴是广泛应用的数据驱动工作流技术，具体细分为数据驱动工作流的智能化。

背景技术

传统OA工作流系统基于最基本的业务流程规则(例：对当前的可执行审批环节，其前提条件必须满足，前提条件指另外一个或几个审批环节的进行状态)进行流转，没有或者很少有控制调度策略参与其中，流程的流转依赖于员工的经验进行。由于新手不熟悉业务以及其他各类意外情况导致的业务办理时间延误对政务系统的服务职能造成了负面的影响。

与此同时，企业和组织在漫长运营周期内积累了大量业务数据和日志，但大部分公司仅仅将数据闲置于数据库中，并未加以利用。随着存储介质的发展，大数据存储的成本不再高昂，数据驱动工作流技术为企业有效利用这些沉睡数据提供了可能。

很多公司和机构通过算法挖掘这些沉睡数据的价值，从而构建了由数据驱动的工作流引擎系统。数据驱动工作流部分或者完全摒弃了基于配置项表单的管理方式，并运用智能算法结合主流web技术实现对大量同步到达的工作流业务进行安全实时管理。目前大部分办公领域的智能化算法服务都是基于词向量模型的，该模型虽然对于文本推介、纠错、文本分类等NLP问题有着先天优势，但很难处理诸如工作流调度这种综合性问题。

本发明针对上述研究背景提出了基于强化学习的算法模型，并着力于工作流领域综合调度问题的工程解决。

发明内容

针对工作流领域的应用场景特点，本发明提供了一种智能调度方法。发明的服务对象是需要智能化改造的OA系统(下称目标OA系统)。本系统通过接口与服务对象构成联系，可以实现整体办公自动化系统运营效率的提升，减少整体审批环节的平均用时，并降低审批流程的整体延误率。

本发明分为工作流实例处理模块、状态观测模块、双DQN训练模块、智能化综合调度模块四大部分。目标OA系统以一定频率将当前工作流总体状态信息发送到本系统，从而发起综合调度请求。

工作流实例处理模块负责将总体状态信息解析为对应格式的数据并生成初始的DAG图。总体信息包含有代办工作流实例、当前各业务员状态等内容。

双DQN训练模块基于双DQN强化学习算法实现，该模块基于工作流实例处理模块解析得到的结构化数据训练并整定模型参数；智能综合调度模块在双DQN训练模块训练好模型参数后才会被自动激活，它会冻结训练得到的神经元参数，以此参数进行计算，输出当前总体状态对应的“最佳”(局部最优)综合调度结果。

状态观测模块负责在训练整定参数和输出调度结果的过程中为双DQN训练模块和智能化综合调度模块提供每一步训练和调度结果输出的状态特征计算，该计算结果为7维向量φ(s_t)，代表了当前目标OA系统运行的所有工作流状态St的不同特征。双DQN训练模块和智能综合调度模块内部的子模块都有一个结构相同的双隐层深度神经网络，所述向量φ(s_t)是其输入。

智能算法服务系统依托持久化数据以及实时的输入数据得到综合调度结果并返回给目标OA系统。智能算法服务系统的特点在于采用了策略选择强化学习，将强化学习这一算法结合富有公文领域特色的多种调度策略实现在办公自动化领域的应用。本发明采用python语言开发原型系统。

这四大模块间的关系具体见附图1所示。