[发明专利]一种Web服务组合方法

说明书

技术领域

本发明属于计算机领域，涉及Web服务组合方法。

背景技术

随着近些年来Web服务领域的快速发展，以及面向服务的软件开发方法的迅速升温，Web服务组合得到了众多研究者的关注。由于单个Web服务的能力有限，如何将各种不同的业务根据需求有效地集成、提供更优质的服务，成为了Web服务应用集成的核心问题。从最初的功能驱动到后来的QoS（Quality of Service，服务质量）驱动，相关研究人员已经在Web服务组合领域做了大量的研究工作。但是，由于Web服务的随机性和Internet环境的不确定性，Web服务组合领域仍然面领着一些挑战，譬如如何减少组合过程所耗费的时间、如何适应动态环境的变化等等。因此，对Web服务组合方法进行研究和创新有着重要的现实意义。

强化学习作为一种以环境反馈作为输入的、特殊的、自主适应环境的机器学习方法，能够有效提高智能系统在动态不可预测的环境下的问题求解。近些年来，逐渐有研究人员试着将强化学习机制引入服务组合过程，以提高服务组合的灵活性与自适应性。强化学习的基本原理是：如果Agent（智能体）的某个行为策略导致环境正的奖赏（强化信号），那么Agent以后产生这个行为策略的趋势便会加强。Agent的目标是在每个离散状态发现最优策略，从而使得期望的折扣奖励之和达到最大。一般来讲，强化学习框架需要通过合适的数学模型予以实现，如马尔可夫决策模型（Markov Decision Process）、矩阵决策模型等等。

值得注意的是，现有的利用强化学习进行服务组合的方法中，鲜少有方法使用多Agent技术来加速组合过程。为数不多的此类方法也仅仅是采用朴素的知识复制的形式来实现不同Agent间的经验共享，不同Agent间本质上还是各自行动，未能充分考虑到多Agent间可能存在的协同博弈行为，也未能实现多Agent联合探索求解路径的目标。

现有的利用强化学习进行服务组合的方法中，大多是将服务组合过程建模为马尔可夫决策过程（Markov Decision Process，MDP）或各种马尔可夫决策过程的变形，如半马尔可夫过程、隐马尔可夫过程、连续时间马尔可夫过程等等，然后在此基础上应用强化学习的某种算法进行迭代求解。然而需要注意的是，马尔可夫决策过程及其各种变形适用的是单Agent学习框架，换言之，采用这类模型的解决方案基本都是单Agent学习机制的变形，在求解效率上并没有显著的提升。

多Agent系统（Multi-Agent System）作为近年来人工智能领域中除了强化学习以外的另一个研究热点，是当前分布式人工智能研究的重要分支。多Agent技术主要研究一组自治的智能体在分布式开放的动态环境下,通过交互、合作、竞争、协商等智能行为完成复杂的控制或任务求解,由于它更能体现人类的社会智能,更加适合开放的、动态的社会环境,因而得到广泛的关注。就目前而言，多Agent系统的重点在于体系结构、协调和学习机制这些方面，如何在开放的动态环境下，使各智能体在短时间内具有快速学习和协调功能的能力,是多Agent系统能否有效运作的关键。

近来，有少部分研究人员尝试将多Agent技术加入到服务组合的过程中，希望通过多Agent学习来加快问题求解的速度，提升服务组合的自适应性。然而，这些方法存在着下述问题：首先，这些方法的建模策略本质上依旧是马尔可夫决策过程，只是单纯地将其推广至每一个Agent，即针对每个Agent都建立一个MDP模型，并没有通过一个全局模型将所有的Agent统一纳入考虑；其次，没有考虑到各个Agent在学习过程中可能遇到的博弈和协作关系，因而并不能称作完整的多Agent协同强化学习。