[发明专利]一种电力信息通信设备自动化测试资源调度方法

说明书

本发明公开了一种基于深度强化学习A3C(Actor‑Critic Algorithm)的电力信息通信设备自动化测试资源调度方法。该方法首次采用深度强化学习A3C相关理论，分析了基于云计算的通信设备中自动化测试资源需求，综合考虑资源调度时间和测试执行时间，采用A3C算法框架，设计了一种电力信息通信设备自动化测试云计算资源动态调度方法，提高测试资源利用率。

技术领域

本发明属于自动化测试领域，尤其涉及电力信息通信设备自动化测试资源调度方法。

背景技术

随着智能电网的发展，电力信息通信业务对数据传输网可靠性要求不断提高。电力信息通信设备作为数据网的关键节点，其功能和性能指标直接影响通信质量，部署前需对其进行严格测试。传统人工测试耗费巨大的人力物力资源，且部分测试任务无法完成。随后，传统自动化测试技术被采用，弥补了手工测试过于耗费人力的不足，但测试时需要按需搭建物理测试环境，资源利用率低。目前采用基于云计算的自动化测试方法，云计算的弹性服务能力能够提高供便捷的测试访问，资源按需分配。为进一步提高测试资源利用率和测试效率，需进一步研究资源调度策略。

目前针对云计算资源调度方案研究较多，但针对基于云计算的电力通信设备自动化测试资源调度研究很少。在现有研究中，云计算资源分配算法主要有蚁群算法、布谷鸟搜索算法、排队论算法、蛙跳算法、粒子群算法和萤火虫算法等传统资源调度方式。然而，在云计算分布式平台上安排多任务工作是一个NP难题，传统通过基于遍历的算法产生最佳策略非常耗时，算法本身执行也消耗较多的资源。

发明内容

(一)要解决的技术问题

为了提高电力信息通信设备自动化测试资源利用率，发明人考虑到，深度强化学习能够有效地优化资源调度策略，使代理能够根据自己的经验确定理想行为，获得最优动作策略。其中A3C(异步优势演员评论家算法，Asynchronous advantage actor-critic)采用异步梯度下降优化神经网络，通过多线程学习方式，降低执行算法资源和时间开销，且能够提高训练样本的多样性，降低关联性。因此，本发明公开了一种基于深度强化学习的电力信息通信设备自动化测试资源调度方法。

(二)技术方案

为解决上述技术问题，本发明公开了一种基于深度强化学习的电力信息通信设备自动化测试资源调度方法，包括如下步骤：

步骤A，分析基于云计算的电力信息通信设备自动化测试平台架构，构建测试平台资源模型。

步骤B，根据步骤A测试平台及其资源模型的分析，构建基于深度强化学习A3C的资源调度算法模型；

步骤C，综合分析电力信息通信设备自动化测试环境与资源调度算法方案，确定深度强化学习A3C网络与测试环境交互的状态、动作、奖励等值，以及智能体与全局网络神经网络交互更新策略；

步骤D，确定资源调度算法的优势函数评估策略和策略参数梯度下降更新函数，加快算法收敛；

步骤E，最后设计基于深度强化学习的资源分配算法具体流程，求解最优资源分配策略。

其中，步骤A具体包括：

A1，分析基于云计算的电力信息通信设备自动化测试平台结构，其可分为用户层、管理层和资源层三层结构，测试人员提交测试任务后，管理层资源调度模块为任务分配相应的测试资源，测试资源由物理资源虚拟化产生；

A2，将基于云计算的测试资源虚拟机表示为Vm＝{Vm₁,Vm₂,...Vm_n}，每个虚拟机占有资源为Vm_i＝{sto_i,cal_i,ban_i}，其中sto_i表示虚拟存储，cal_i表示虚拟计算资源，ban_i表示虚拟链路带宽；