[发明专利]基于深度强化学习的Web服务众包测试任务分配方法

说明书

本发明公开了一种基于深度强化学习的Web服务众包测试任务分配方法，包括：根据众包平台上的工人池和任务池内的数据信息、对深度强化学习的Web服务测试任务分配模型进行训练；众包平台接收需求者提交的测试任务，使用完成训练的Web服务测试任务分配模型进行测试任务的分配；工人接受并执行任务、将任务测试结果反馈给众包平台，众包平台将工人反馈的测试结果传送给相应的任务需求者。本方法通过使用深度强化学习方法DQN来训练Web服务测试任务分配模型，达到了对Web服务众包测试任务进行实时分配的效果，可以在一定程度上保证测试任务能够交由众包测试平台上比较合适的测试人员来处理，提升了测试效果。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于深度强化学习的Web服务众包测试任务分配方法。

背景技术

随着Web服务的应用越来越广泛，对其能否正常执行并达到预期功能效果的需求也日益迫切。为确保Web服务满足其预期的功能和质量要求，必须对其进行全面测试。对Web服务进行测试需要测试人员具有一定程度的相关知识和能力，比如测试用例设计能力、相应的编程能力和测试报告撰写能力等。在这种情况下，传统的测试方法和测试工具难以满足上述要求。

近年来出现的众包测试形式可以很好地考虑合适测试人员的选择问题，以提高服务测试的效果。但是，在众包测试中，如何将测试任务分配给更合适的测试人员，同时又以尽可能低的测试成本来获得更好的测试结果是一个非常重要的问题。比较常见的方法是将这类众包测试任务分配问题规约为一个优化问题来处理，将该问题建模为一个约束求解问题，使用精确式算法或启发式算法对其进行优化求解，但众包平台上时刻有新任务和新工人加入，这种方式在每次分配时都需要大量计算，因此，它更适合解决离线众包测试任务分配问题。对于众包测试环境中的Web服务测试任务分配问题，更希望能够在线进行测试任务分配。

发明内容

根据现有技术存在的问题，本发明公开了一种基于深度强化学习的Web服务众包测试任务分配方法，具体包括如下步骤：

根据众包平台上的工人池和任务池内的数据信息、对深度强化学习的Web服务测试任务分配模型进行训练；

众包平台接收需求者提交的测试任务，使用完成训练的Web服务测试任务分配模型进行测试任务的分配；

工人接受并执行任务、将任务测试结果反馈给众包平台，众包平台将工人反馈的测试结果传送给相应的任务需求者。

进一步的，所述采用深度强化学习的Web服务测试任务分配模型进行训练具体方式为：

将每个测试任务定义为深度强化学习网络的一个状态s、为每个测试任务选择某个测试工人作为一个动作a、将强化学习中的回报值r设置为任务s分配给测试工人a得到的任务完成质量；

设置三项约束条件分别为：测试工人的能力大于测试任务的难度等级，测试任务分配至测试工人需要支付的报酬小于测试任务的最大成本，每个测试工人执行任务的数量小于设定阈值；

将每个测试任务s传递给当前Q值网络，当前Q值网络反馈出使Q值最大的动作a、同时满足三项约束条件，即动作a为当前任务s选择的工人，将当前任务选择的结果作为一个组合(s,a,r,s')存储至回放记忆单元中、其中s'为下一个需要分配的任务；

使用回放记忆单元中的数据对当前Q值网络和目标Q值网络进行参数学习更新：将回放记忆单元中的一条数据(s,a)对传递给当前Q值网络；

当前Q值网络输出其对应的Q值Q(s,a)、并将Q(s,a)传递给DQN误差函数，将回放记忆单元中该条数据中的下一个任务s'传递给目标Q值网络，目标Q值网络输出使s'的Q值最大的动作a'，并将得到的最大Q值MaxQ(s',a')传递给DQN误差函数，将回放记忆单元中该条数据的回报值r传递给DQN误差函数。