[发明专利]一种基于强化学习的配电物联网智能决策方法

权利要求书

1.一种基于强化学习的配电物联网智能决策方法，其特征在于，所述方法包括如下步骤：

决策模型的构建方法具体包括如下步骤：

步骤1、获取配电网的N个状态参数和所述状态参数对应的决策结果，构建样本集；所述决策结果包括是否对配电网中软硬件进行深度解耦；

步骤2、选取样本集中的M个状态参数和对应的决策结果作为训练集，选取样本集中剩余的(N-M)个状态参数和对应的决策结果作为测试集，将所述训练集和测试集输入强化学习模型中，对强化学习模型进行训练，获取决策模型；

决策模型的应用方法包括实时执行如下步骤：

步骤A、引入数据流触发机制，采集配电网当前的状态参数，构成状态参数集；

步骤B、将所述状态参数集输入决策模型中，获取当前的决策结果；

步骤C、将当前的决策结果发送至配电物联网的执行设备中；由执行设备对当前的决策结果进行执行；

在步骤C中，将决策结果发送至配电网的执行设备的方法为：采用直接序列扩频技术构建数据包多线程传输机制，融入基于Mesh协议的节点网络自组织和自愈功能，通过协调网络拓扑结构的自组网协调器实现多线程传输；

通过协调网络拓扑结构的自组网协调器实现多线程传输具体包括如下步骤：

步骤C₁、多节点无线物联网上电启动后对自组网协调器的协调器软件进行初始化，并实时监测传感器集群硬件自组网是否成功；

步骤C₂、开启节点网络监测机制，若监测到网络，则选择协调器或者路由节点作为初始父节点申请加入网络，否则把节点属性设置为协调器组建网络机制；

步骤C₃、开启子节点入退网监测机制，如果申请入网，则根据组网需求增加子节点并为子节点分配NWK参数，如果申请退网，释放原有的NWK参数关联；

步骤C₄、开启多维数据传输机制，选择被测数据传输子节点，接收终端节点的多维数据进行数据上传。

2.根据权利要求1所述的基于强化学习的配电物联网智能决策方法，其特征在于，还包括步骤D如下，执行完步骤C之后，进入步骤D：

步骤D、侦测执行设备是否收到干预决策并执行，若是，将干预决策和对应的当前的状态参数的构成样本，并将构成的样本加入样本集中对样本集进行更新；否则，样本集中的样本保持不变。

3.根据权利要求2所述的基于强化学习的配电物联网智能决策方法，其特征在于，还包括决策模型优化方法，按照预设的周期对决策模型进行优化，对决策模型的优化具体包括如下步骤：

采集更新的样本集中最新更新的N个状态参数和对应的决策结果构建新的样本集，使用所述新的样本集对强化学习模型进行训练，获取优化的决策模型。

4.根据权利要求1所述的基于强化学习的配电物联网智能决策方法，其特征在于，配电网中安装有多个用于采集配电网状态参数的传感器；在步骤1中，所述数据流触发机制为：控制系统检测到配电网上电运维时，控制配电网中的各传感器对配电网进行状态参数的采集；所述状态参数包括配电网的电流参数、电压参数。

5.根据权利要求1所述的基于强化学习的配电物联网智能决策方法，其特征在于，在步骤3中，所述方法还包括对当前采集的配电网的状态参数进行清洗。

6.根据权利要求1至5任一项所述的基于强化学习的配电物联网智能决策方法，其特征在于，所述强化学习模型为双重Q网络模型。