[发明专利]电力物联网网络资源分配决策方法、系统、设备及介质

权利要求书

1.一种电力物联网网络资源分配决策方法，其特征在于，包括以下步骤：

基于以强化学习训练获取的分配决策模型，获取电力物联网已输入数据信息的当前节点的下一跳节点，实现网络资源分配决策；

其中，所述分配决策模型获取时，基于待资源分配的电力物联网的每个节点的属性信息，构建获得MDP图；所述MDP图中每个状态点分别用于表述电力物联网的每个节点，点的权重用于表示节点的可使用资源；MDP图中两个点间的边用于表示两个状态点分别对应的两个节点间能够通信。

2.根据权利要求1所述的一种电力物联网网络资源分配决策方法，其特征在于，所述每个节点的属性信息包括可使用资源、物理位置、信号覆盖半径与支持的通信协议中的一种或多种。

3.根据权利要求1所述的一种电力物联网网络资源分配决策方法，其特征在于，在获取电力物联网已输入数据信息的当前节点的下一跳节点，实现网络资源分配决策后还包括：

跟踪获取所述数据信息跳转至获取的当前节点的下一节点的收益，基于收益更新所述分配决策模型；

采用更新后的分配决策模型，处理电力物联网后续网络资源分配决策。

4.根据权利要求3所述的一种电力物联网网络资源分配决策方法，其特征在于，所述分配决策模型通过输入的数据信息类型、当前节点与下一跳节点，唯一地定位到存放的收益值并输出；其中，q_predict(i，x，y)＝qtable(i，x，y)；式中，i为数据信息类型、x为当前节点、y为下一跳节点、q_predict(i，x，y)为当前分配决策模型认为的数据信息类型i的数据信息在当前节点x经过下一跳节点y到达数据中心的收益值；所述分配决策模型维护两个qtable；其中一个为QT_predict，用于更新预估收益值；另一个为QT_target，用于存放当前分配决策模型的预估收益值；

所述分配决策模型的初训练步骤包括：获取历史样本数据集；所述历史样本数据集中的每一条历史样本数据均包括一次传输的数据信息类型、当前节点、下一跳节点以及本次传输至数据中心实际收益值；基于每一条历史样本数据同步更新所述两个qtable，更新表达式为，

式中，代表在使用第n条历史样本数据训练决策模型之前，QT_predict中存放的对于数据信息类型i的数据信息在当前节点x经过下一跳节点y到达数据中心处的预估收益值；rr_n是第n条历史样本数据中记录的数据信息类型i的数据信息在当前节点x经过下一跳节点y到达数据中心处的实际收益值；代表在使用第n+1条历史样本数据训练决策模型之前，QT_target中存放的数据信息类型i的数据信息在当前节点x经过下一跳节点y到达数据中心处的预估收益值；α是学习因子；n是从1开始的正整数；其中，

所述分配决策模型使用时的自训练步骤包括：所述QT_predict的更新方式为，

式中，代表t时刻QT_predict中存放的对于数据信息类型i的数据信息在当前节点x经过下一跳节点y到达数据中心处的预估收益值，R_t+1是第t+1时刻得到的数据信息类型i的数据信息在当前节点x经过下一跳节点y到达数据中心处的实际收益值，代表在收到实际收益值的t+1时刻QT_target中存放的数据信息类型i的数据信息在当前节点x经过下一跳节点y到达数据中心处的预估收益值；在预设定的更新周期T后，QT_target更新为QT_predict中的值。