[发明专利]基于深度强化学习的变电站监测系统及其资源调度方法

说明书

本发明公开了一种基于深度强化学习的变电站监测系统及其资源调度方法，该系统包含N种不同类型传感器的无线传感器网络节点、深度强化学习智能体、电力无线专网基站、拥有多个神经网络的边缘设备和远程云端的系统，该系统采集电网状态进行基于神经网络的异常监测，有两种数据传输的方法：一是将传感器采集的数据通过LTE‑A无线通信接口传输到电力无线专网基站，再通过互联网传输到云端进行处理；二是将传感器采集的数据通过WIFI传输到边缘设备，选择不同的神经网络处理。本发明在时变的互联网时延的环境中，并在满足数据传输时延的要求下，能优化分配无线通信资源与边缘设备的计算资源，使得最大化系统的吞吐量。

技术领域

本发明涉及变电站监测和资源分配与调度领域，尤其涉及一种基于深度强化学习的变电站监测系统及其资源调度方法，适用于变电站中对数据进行实时异常监测。

背景技术

变电站的智能化是电网发展的必然产物，物联网技术应用于变电站是信息通信技术发展到一定阶段的必然趋势。将物联网技术广泛应用在变电站中，能够使信息通信技术更好的服务于电力行业，有效地为电网中的发电、输电、变电、配电、用电、调度等环节提供重要技术支撑，提高电力系统信息化水平，从而改善现有电力系统基础设施的利用效率，促进能源的高效利用。变电站的故障监测一直都是一个不可避免的问题，是通过测量和分析故障后电网中电流、电压等电气量以及保护和断路器动作的开关量变化信息，识别故障原因。良好的监控系统对于及时发现和处理故障以及预防事故具有重要意义。

边缘计算是在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。众所周知，边缘计算是将基础设施资源进行分布式部署再统一管理的。资源较为集中的称为“云”，资源量较少的部署点称为“边缘”，并在边缘计算云平台中存在少数的云和多数的边缘，因此如何进行平台的资源调度变成十分重要。

北京邮电大学高辉等考虑了一个多用户MEC系统(WCNC，2018.8377343)，其中多用户设备可以通过无线信道进行计算卸载到一个MEC服务器上。将所有问题的延迟成本和能量消耗的总和表示为优化目标。为了使所考虑的MEC系统的总代价最小，共同优化了卸载决策和计算资源分配。为此，提出了基于强化学习的优化框架来解决无线MEC中的资源分配问题。具体来说，分别提出了基于Q-learning和基于深度强化学习的方案。但是，该文献仅对资源分配后的情况进行了分析，却没有考虑分配的必要性。而且，Q-learning算法会造成大的状态和动作空间，导致计算的复杂度极高。

福建农林大学计算机与信息学院刘庆年等实现了智能电网大数据异常状态实时监测仿真(计算机仿，1006-9348(2019)03-0364-04)，针对当前方法存在的监测速度慢、准确率低的问题，提出了一种基于熵序列的智能电网数据流异常状态监测方法。该方法具有较高的监测精度，实用性较强。但是该方法算法较为复杂，实时性还可以提高。

南昌诺汇医药科技有限公司何月顺发明了一种智能变电站监测系统(公开号：CN110830945A)，该系统包括环境感知模块、数据收集模块、云服务器和智能监测中心，所述环境感知模块利用传感器节点监测变电站环境参数，并通过无线传感器网络将监测所得的环境参数信息传输至数据收集模块，由数据收集模块将收集的环境参数监测信息传输至云服务器，云服务器对接收到的环境参数监测信息进行存储，智能监测中心从云服务器中调取所述环境参数监测信息，并根据所述环境参数监测信息对变电站的安全状态进行评估，当评估变电站存在危险时即进行预警。但是文章没有利用云边协同，无法解决云端延迟大的缺点，系统的实时性较差。

发明内容

本发明是为避免上述现有技术所存在的不足之处，提供了一种基于深度强化学习的变电站监测系统及其资源调度方法，以期能在满足数据传输时延的要求下，优化分配无线通信资源与边缘设备的计算资源，使得最大化系统的吞吐量，从而提高云边协同系统的时间效率、资源利用率。

本发明为解决技术问题采用如下技术方案：