[发明专利]一种基于强化学习的异常用电判决系统及方法

说明书

本发明涉及一种基于强化学习的异常用电判决系统及方法，该判决系统为用于异常用电判决的DRQN（Deep Recurrent Q Network，深度循环Q网络模型）模型，Q网络模型以当前的状态和当前选择的动作作为输入和输出，以状态作为判决指标确定当前回合的奖惩值；在Q网络模型训练达到设定次数时，将target Q网络模型的网络参数同步为Q网络模型的网络参数；将待测的用电概率序列输入到训练好的DRQN模型中，以状态作为待测的用电概率序列的动态阈值，根据动态阈值判断用电是否异常，以当前的状态作为判决指标确定奖惩值，并将该当前的状态作为动态阈值，因此该系统能够根据实时的用户的电力数据来更新阈值，从而能够有效提升跨用户场景的泛化能力。

技术领域

本发明涉及电力系统负荷预测领域，尤其涉及一种基于强化学习的异常用电判决系统及方法。

背景技术

随着智能电表的广泛应用，异常用电检测已成为研究客户异常消耗行为并及时发现意外用电事件的重要手段。在电网运行中，无论是计量装置故障或用户窃电，均会导致无法采集用户真实的用电数据，这些虚假的用电数据称为异常用电数据。若不能及时发现和处理这些情况，会对正常用户用电以及供电公司供电秩序产生严重干扰和影响，带来的不仅是经济方面的损失，更为严重的是供用电安全方面的隐患，因此对用户异常供用电进行自动监测具有重要的现实意义。

当前的异常用电检测方法可以分为以下几类：基于系统状态的异常用电检测方法、基于博弈论的异常用电检测方法和基于数据驱动的异常用电检测方法。

随着智能电网时代下海量的数据和人工智能技术高速发展，基于数据驱动的异常用电行为检测逐渐成了学者们研究的热点，基于数据驱动可以分为三种方法：分类、回归和聚类，分类和回归属于有监督学习的方法，而聚类则属于无监督学习的方法。

分类的方法根据输入的特征量将输入对应的集合划分为几类。在异常用电检测中，分类的目标则是根据用户的特征量将用户集划分为正常和异常两类。基于分类的方法需大量带标签的训练集提供样本，通过训练以提高分类的精度。分类方法中最重要的就是分类器模型，常见的分类器有极限学习机、支持向量机、k-近邻算法和神经网络等模型。分类方法的优点很明显，由于使用了带标签的数据集，相较其他方法准确率较高，因此也成为了研究热点。

对用户级别的异常用电行为分析是需要从用户的长期行为来分析的，但是直接用分类器做长期的用电行为进行分析，如直接将一个月乃至一年的用电数据输入到分类器中是不合适的，原因有如下两点：

（1）长期的用电数据里，正常用电的数据比例较多，对于少部分的异常用电数据相当于噪声，会严重影响分类器输出的分类结果。

（2）长期的用电数据直接输入到分类器中，意味着检测周期长，判决用户是否有异常用电行为的延迟长，不符合实际的应用需求场景。

所以大多数的分类方法都是基于短期的用电行为，来分析长周期的用电行为。具体做法是：将长期的数据分为若干个短周期的数据，再输入到分类器中，分类器输出的是该短周期样本来自于异常用电用户的概率。一般在判断短期样本是否来自于异常用电用户时，需要确定一个判决阈值，当分类器输出的概率超过阈值时，则判定该短期样本来自于异常用电用户。

一个用户的长期数据分为n个短期数据，分别输入到分类器后，就可以得到长度为n的概率序列，那么接下来就会面临一个问题，这n个短期样本里有多少比例的样本被判定为来源于异常用户，才能从长期的用电行为判断该用户属于异常用电用户。在通常的分类方法中，这个判决比例都需要通过经验调参决定，没有一个固定的值。

综上所述，目前的大多数基于分类的异常用电检测方法仍下述一些问题：

（1）面对不同的用户用电数据时，不论是短周期的判决阈值，还是长周期的判决比例，都难以有统一的标准去决定。