[发明专利]基于深度强化学习的多阶段装备发展规划方法及系统

说明书

本发明公开了一种基于深度强化学习的多阶段装备发展规划方法及系统，该方法包括：构建多阶段装备发展规划模型，该多阶段装备发展规划模型用于评估装备发展方案在面向每阶段投资预算和最终能力需求两种不确定条件的能力评价值；根据多阶段装备发展规划模型中的不确定条件构建对应的强化学习框架；基于DQN思想和强化学习框架，构建多阶段装备发展规划优化算法；基于多阶段装备发展规划优化算法，生成最优的多阶段装备发展方案。本发明针对由深度不确定条件下的任意一种随机环境，无需对算法做出任何调整即可快速响应，得到近似最优的多阶段装备发展方案。

技术领域

本发明属于装备发展规划技术领域，具体是涉及到一种基于深度强化学习的多阶段装备发展规划方法及系统。

背景技术

在装备发展规划过程中，受到现有技术和费用制约，装备难以一步达到最终规划能力，往往需要采取分阶段多周期发展满足能力需求。同时，随着外部各国军事力量的不断增强，军事任务复杂性不断增加，作战能力需求也在不断递增演化，需要装备不断发展以持续满足不断演化的能力需求。并且，在装备整个发展周期过程中，各阶段的能力水平均紧密关联，即对装备任一阶段的费用和时间等资源投入，都会影响到后期各个阶段的能力发展。由此可见，装备需要分阶段发展逐步满足能力需求，能力需求又在不断演化，装备组合的各阶段规划能力之间联系紧密，装备组合的体系贡献率呈现成动态演化的特性，这一系列因素均需要从多阶段视觉统筹考虑装备组合的规划发展。

此外，装备发展面临一系列不确定性。装备发展是以提高装备体系作战能力或作战效能为最终目标，这种不确定性来自于世界格局变化，以及全球威胁情景、国家安全战略调整和国土防御重点战略方向不可预测的变化等。这种不确定性造成装备发展过程中每阶段的能力需求、投资金额出现与预期不同的变化，同时造成整个体系演化过程中装备组合体系贡献率的不确定性。因此，要求在装备发展规划时需要在整个计划周期内对发展规划进行动态优化，以便在任意可能出现的未来环境中，所选组合装备对体系贡献率最大，能最大化满足相应的能力需求。

传统的面向未来不确定性的多阶段发展规划方法，一般分为两种。一种是基于概率的多阶段不确定决策方法，如马尔科夫决策过程、期望值规划等，需要对未来可能出现的场景赋予一定的概率，一般只产生一个最优解，一旦环境做出改变之后，需要重新耗时进行优化。另一种是随机规划方法，通过情景树不确定描述技术建模不确定信息的可能情景，并针对每种可能情景均产生一组可行规划方案，但无法保证所有情景下均是最优的。两种方法都需要预先基于历史数据或者专家经验等对不确定信息进行了解，然而在军事领域，对手经常采用出其不意的招数以达到期望效果，导致对未来场景的预测十分困难。但当今国防环境剧烈变化，这种高度复杂不确定的国防环境已经成为不可预测的对象，一旦未来实际情况不在预想的场景列表中，则必然产生一定影响甚至十分严重的后果。

发明内容

针对装备发展规划的深度不确定性和多阶段发展的特征，本发明提供一种基于深度强化学习的多阶段装备发展规划方法及系统。

第一方面，本发明实施例提供一种基于深度强化学习的多阶段装备发展规划方法，包括：

构建多阶段装备发展规划模型，所述多阶段装备发展规划模型用于评估装备发展方案在面向不确定条件的能力评价值；其中，所述不确定条件包括每阶段投资预算和最终能力需求；

根据所述多阶段装备发展规划模型中的所述不确定条件构建对应的强化学习框架；

基于DQN思想和强化学习框架，构建多阶段装备发展规划优化算法；

基于所述多阶段装备发展规划优化算法，生成最优的多阶段装备发展方案。

优选地，所述构建多阶段装备发展规划模型，包括：

根据每阶段投资预算判断装备发展方案是否为有效方案；

在所述装备发展方案为有效方案时，确定所述装备发展方案中所有待发展装备的已发展年份；