[发明专利]基于分布式深度强化学习的微网隐私保护与能量调度方法

说明书

本发明公开了一种基于分布式深度强化学习的微网隐私保护与能量调度方法。首先利用动作网络与本地环境进行交互，获取相应的动作策略，生成对应的噪声及独立发电单元功率，再根据环境参数与所选动作判断是否满足约束条件，计算奖励值。随后动作神经网络与价值神经网络提取历史数据进行学习，最后根据所学模型，价值网络对动作网络选择的动作进行反馈，引导动作网络追寻更高的奖励值。对于此类实时性要求高，计算量大，隐私保护要求高的应用场景，本发明所提出的方法在训练完成后可以快速给出优化策略，合理分配各单元发电出力，生成噪声保护用户数据，最终有效地解决了微电网中的能量优化调度及隐私保护问题。

技术领域

本发明属于分布式框架、强化学习、微电网能量调度及隐私保护的交叉领域的一种微电网能量实时调度方法，具体涉及了一种基于分布式深度强化学习的微电网隐私保护与能量实时调度方法。

背景技术

新能源技术的发展与应用，使太阳能、风能、水能等清洁能源逐渐成为主导，随着新能源的不断接入，电网规模扩大，电网调度管理难度不断增加。微电网(microgrid,MG)，作为新型电力系统的典型代表可以有效管理分布式电源、提高供电可靠性。微电网能量管理面临的一个主要威胁是负载数据与模型参数在交互中带来的数据泄露问题。现有的研究主要通过对数据进行加密保护来提高数据通讯的安全性，如基于数论的RSA加密算法、基于因数分解的ElGamal算法以及Paillier同态加密算法等。然而这些算法消耗大量时间和资源，极大提高了计算量，并且存在私钥泄露的风险，因此如何权衡隐私保护效能和能量管理优化至关重要。

针对此类问题，通常采用将微电网的隐私保护和能量管理统一建模为一个数学优化问题，并通过优化算法来寻找最优权衡策略。如采用基于对偶分解的算法和次优算法来求解具有隐私保护要求的微电网能量管理问题或通过对相邻控制器间的通讯进行随机加权的方法来提高数据通讯的安全性等方法。然而微电网系统中负载存在实时波动性，传统的优化方法难以满足其实时能量管理需求。强化学习算法在模型训练完成后可以对变化的环境做出实时反应，极大的提高了系统反应速度，因此已被广泛研究其在微电网系统上的应用。然而传统的强化学习方法通常只适用于规模有限的微电网系统。随着分布式电源、储能系统以及负载不断接入，各状态、动作参数不断增加，极大的提高了微电网系统能量管理的计算难度。

发明内容

为了解决背景技术中存在的问题，本发明结合中心化训练和去中心化执行的思想，本发明提出了一种基于分布式深度强化学习的微电网隐私保护与能量实时调度方法来解决上述安全性和实时性要求高以及参数空间大的问题。首先，各负载单元在本地统计实时负载需求，并采用差分隐私算法对每个负载数据加入高斯噪声，破坏个体数据有效性。其次，将每个分布式独立发电单元以及主电网视为独立智能体，建立多智能体深度强化学习模型，并将各智能体的能量管理以及隐私保护效能统一设计为多目标优化问题。其目标是：降低独立发电单元运行成本、优化微电网系统与主电网的电力交易、降低独立发电单元与储能单元的使用寿命损耗以及提高负载数据通讯的安全性。本发明结合了强化学习的实时性强、泛化性能好等优点，并加入了分布式框架，降低了单智能体的计算量，提高了学习效率及求解精度。同时考虑到微电网中负载数据上传过程中容易出现的隐私泄露问题，加入了差分隐私算法与强化学习进行结合，有效保护了数据通讯安全。

与传统的强化学习方法相比，本发明所提的分布式深度强化学习的微电网隐私保护与能量在线优化方法在解决微电网能量管理和隐私保护问题上具有以下优势：1、采用深度确定性策略梯度模型，提高了微电网系统的能量实时管理能力；2、建立多个分布式学习模型，有效降低了计算复杂度；3、采用差分隐私的方法进行数据保护，有效避免了私钥泄露带来的危险，降低了数据保护的计算量。

本发明采用的技术方案如下：

步骤1)根据微电网系统构建微电网多智能体强化学习模型，同时根据主电网建立对应的智能体进行本地调度管理；

步骤2)建立微电网隐私保护与能量调度模型；