[发明专利]基于Q学习memetic算法的动态多目标软件项目调度方法

摘要

本发明提供的基于Q学习memetic算法的动态多目标软件项目调度方法,包括如下步骤(1)读取输入信息；定义优化目标，设定约束条件；(2)初始化算法的参数；Q学习中的智能体感知项目环境中的初始状态；确定静态多目标memetic算法中的全局和局部搜索策略；(3)在项目初始时，产生初始调度方案，并产生一回报值；(4)在项目实施过程中，采用重调度方式；智能体感知项目环境的当前状态，依据回报值更新状态‑动作对表中的Q值，基于选择机制确定动态memetic算法中的全局和局部搜索策略；基于动态memetic算法在新环境中产生新的调度方案，并产生一回报值。本发明能够学习项目环境的特征，快速高效地实现软件项目中的动态调度任务。

主权项

一种基于Q学习memetic算法的动态多目标软件项目调度方法，其特征在于，包括以下步骤：步骤(1)、读取项目初始时的输入信息，所述输入信息包括项目中各项任务的属性信息和软件工程师的属性信息；定义优化目标，设定约束条件：软件工程师的属性信息包括每位软件工程师的学习能力、学习动机、所掌握的技能、对从事各项技能的期望程度、能够在所述项目中投入的允许工作量、正常月薪、加班月薪；项目中各项任务的属性信息包括每项任务的工作量、技能要求、任务优先级图；优化目标包括项目工期、项目成本、抗风险能力、稳定性和开发人员的满意度；约束条件包括任务技能约束和软件工程师不能超负荷工作的约束；步骤(2)、初始化Q学习算法的参数：将状态‑动作对表中的所有Q值初始化为0；将项目初始时刻视为初始调度点t0；智能体感知项目环境的初始状态S(t0)；随机选择一个动作A(t0)；设置l＝0，l为调度次数的计数器；步骤(3)、主动调度：在项目初始时刻t0，采用基于静态多目标memetic算法的主动调度方式生成一个预测方案；依据A(t0)，确定静态多目标memetic算法的全局搜索和局部搜索算子；根据项目初始时刻任务和软件工程师的属性信息，基于静态多目标memetic算法，同时优化项目的以下目标：项目工期、项目成本、抗风险能力、以及开发人员的满意度，预先产生一组在多个目标间进行折中的Pareto非支配解，供项目管理者进行参考，并从中挑选出一个符合项目管理者偏好的解作为初始调度方案；计算求得的Pareto非支配解集的超体积指标HV值，HV值度量目标空间中受Pareto非支配解集支配部分的体积，并将HV值作为动作A(t0)的回报值r(t0)；步骤(4)、重调度：如果一个紧急动态事件发生，则令l＝l+1，记重调度点时刻为tl，执行以下步骤：(4.1)、感知状态：智能体感知项目环境的当前状态S(tl)；(4.2)、更新Q值：依据下式更新状态‑动作对表中的值Q(S(tl‑1),A(tl‑1))：Q(S(tl-1),A(tl-1))=(1-α)Q(S(tl-1),A(tl-1))+α[r(tl-1)+γmaxAi∈{A1,A2,...,ANA}Q(S(tl),Ai)],l≥1;]]>其中，NA为候选动作的个数；α是学习速率；γ是折现率，它表示将来回报对当前状态的影响，0≤α≤1，0≤γ≤1；(4.3)、选择动作：依据动作选择机制为当前状态S(tl)选择一个动作A(tl)；(4.4)、执行动作：依据动作A(tl)，确定动态多目标memetic算法的全局搜索算子和局部搜索算子；依据任务的当前属性信息和软件工程师的当前属性信息，基于动态多目标memetic算法，产生一组在项目的工期、成本、抗风险能力、稳定性及开发人员的满意度之间折中的新的Pareto非支配解，并由项目管理者从中挑选出一个符合项目管理者偏好的解作为新的调度方案；计算求得的Pareto非支配解集的超体积指标HV值，并将该HV值作为动作A(tl)的回报值r(tl)；步骤(5)、终止准则判断：如果整个项目没有完成，则在当前项目中执行新生成的调度方案，并转至步骤(4)；否则，结束整个流程。