[发明专利]电力物联网网络资源分配决策方法、系统、设备及介质

说明书

本发明公开了一种电力物联网网络资源分配决策方法、系统、设备及介质，所述方法包括以下步骤：基于以强化学习训练获取的分配决策模型，获取电力物联网已输入数据信息的当前节点的下一跳节点，实现网络资源分配决策；其中，所述分配决策模型获取时，基于待资源分配的电力物联网的每个节点的属性信息，构建获得MDP图；所述MDP图中每个状态点分别用于表述电力物联网的每个节点，点的权重用于表示节点的可使用资源；MDP图中两个点间的边用于表示两个状态点分别对应的两个节点间能够通信。本发明具体提供了一种基于强化学习的分配决策优化方法，通过强化学习算法可以动态地平衡网络负载，可提升网络资源使用率。

技术领域

本发明属于网络资源分配决策技术领域，特别涉及一种电力物联网网络资源分配决策方法、系统、设备及介质。

背景技术

现有传统的云计算需要依托传输网络获取用户数据，并将处理后的结果反输给用户，这种模式带来的传输延迟、处理延迟等问题在海量信息处理中变得非常明显且不可忽略。鉴于边缘计算可在用户的“边缘地带”处理数据，具有较低延迟的特点，采用边缘计算可以较好地解决上述问题。

基于上述技术特点，未来通信协议网关会作为边缘计算服务节点，在支撑海量终端通信的同时，还将承载大量的数据处理业务(示例性的，如视频编解码、AI大数据分析和机器学习等任务)；数据处理业务势必会抢占通信传输的算力资源，造成吞吐能力的下降以及时延的不确定性。

综上，电力物联网网络本身非常复杂，内含大量的网关，如何实现网关之间的负载平衡，充分利用网络资源是一个亟待解决的问题。

发明内容

本发明的目的在于提供一种电力物联网网络资源分配决策方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明具体提供了一种基于强化学习的分配决策优化方法，通过强化学习算法可以动态地平衡网络负载，可提升网络资源使用率。

为达到上述目的，本发明采用以下技术方案：

本发明第一方面提供的一种电力物联网网络资源分配决策方法，包括以下步骤：

基于以强化学习训练获取的分配决策模型，获取电力物联网已输入数据信息的当前节点的下一跳节点，实现网络资源分配决策；

其中，所述分配决策模型获取时，基于待资源分配的电力物联网的每个节点的属性信息，构建获得MDP图；所述MDP图中每个状态点分别用于表述电力物联网的每个节点，点的权重用于表示节点的可使用资源；MDP图中两个点间的边用于表示两个状态点分别对应的两个节点间能够通信。

本发明方法的进一步改进在于，所述每个节点的属性信息包括可使用资源、物理位置、信号覆盖半径与支持的通信协议中的一种或多种。

本发明方法的进一步改进在于，在获取电力物联网已输入数据信息的当前节点的下一跳节点，实现网络资源分配决策后还包括：

跟踪获取所述数据信息跳转至获取的当前节点的下一节点的收益，基于收益更新所述分配决策模型；

采用更新后的分配决策模型，处理电力物联网后续网络资源分配决策。

本发明方法的进一步改进在于，所述分配决策模型通过输入的数据信息类型、当前节点与下一跳节点，唯一地定位到存放的收益值并输出；其中，q_predict(i,x,y)＝qtable(i,x,y)；式中，i为数据信息类型、x为当前节点、y为下一跳节点、q_predict(i,x,y)为当前分配决策模型认为的数据信息类型i的数据信息在当前节点x经过下一跳节点y到达数据中心的收益值；所述分配决策模型维护两个qtable；其中一个为QT_predict，用于更新预估收益值；另一个为QT_target，用于存放当前分配决策模型的预估收益值；