[发明专利]一种基于深度强化学习的Web服务组合方法

摘要

本发明公开了一种基于深度强化学习的Web服务组合方法，针对传统服务组合方法在面对大规模服务场景下耗时长、灵活性差、组合结果不理想等问题，将深度强化学习技术和启发式思想应用于服务组合问题。此外考虑到真实环境的部分可观察性的特点，本发明将服务组合过程转化为一个部分可观察马尔可夫决策过程(Partially‑Observable Markov Decision Process，POMDP)，利用循环神经网络解决POMDP的求解问题，使方法在面对“维度灾难”挑战时仍能表现出高效性。本发明方法能够有效的提高求解的速度，保证服务组合方案的质量的基础上，自主地适应动态性服务组合环境，在大规模动态性服务组合场景下有效的提高了服务组合的效率自适应性和灵活性。

主权项

一种基于深度强化学习的Web服务组合方法，其特征在于，包括如下步骤：1)获取用户需求，构建当前任务下的部分可观察马尔可夫决策过程服务组合模型；2)初始化系统参数以及网络结构，并将模型的开始状态作为系统当前状态；3)当迭代次数m小于k次，随机选择动作直接进入步骤5，否则进入步骤4；4)采用启发式行为选择策略选择一个行为，判断当前状态是否属于隐藏状态集，如果属于隐藏状态集则判定当前状态为隐藏状态，并通过循环神经网络LSTM模拟的策略空间选择最大概率的动作；如果不属于隐藏状态集则判断当前状态为完全可见状态并通过查询Q值表选择最优的动作；5)采用ε‑greedy策略选择最终执行动作，并与环境交互得到反馈；6)对于历史信息进行存储，并更新循环神经网络或者Q值表，利用熵计算当前状态是否为隐藏状态，如果判断结果是隐藏状态则加入隐藏状态集合，如果判断结果不是隐藏状态则加入完全可见状态集合，最后进入下一步；7)系统当前状态设置为下一个状态，对当前状态是否为终止状态进行判断，如果是终止状态则进入步骤8，如果不是终止状态则返回步骤3；8)观察神经网络的收敛情况以及Q值表中长期得益矩阵所有值的变化幅度，使得神经网络收敛以及所有值的变化幅度小于阈值，采用贪心原则，选取一条从开始状态到终止状态的组合路径，依照模型的映射关系，生成Web服务组合工作流，将服务组合结果反馈给用户。