[发明专利]基于自适应边界的分布式强化学习稳定拓扑生成方法

说明书

本发明公开一种基于自适应边界的分布式强化学习稳定拓扑生成方法，解决了路由中链路节点联接持续性和稳定性差的问题。实现包括：在移动自组织网络中节点动态拓扑构建；划分自适应强化学习区间及Q值表初始化；接收信号强度值分区间处理；自适应区间内强化学习，用自适应奖励函数更新Q值，联接状态稳定性判断；直接决策区间状态判断；自适应区间边界自适应更新；生成分布式自适应的稳定联接拓扑。本发明将接收信号强度值与强化学习结合，自适应区间边界更新与自适应奖励函数更新结合，准确实现动态拓扑变化过程中的稳定拓扑链路，减少节点能量消耗，避免较大网络开销，学习速率快，复杂度低。用于移动自组织网络分布式拓扑生成。

技术领域

本发明属于通信技术领域，涉及移动自组织网络的稳定拓扑生成，具体是一种移动自组织网络的基于自适应边界的分布式强化学习稳定拓扑生成方法，用于移动自组织分布式网络。

背景技术

移动自组织网络(mobile Ad hoc networks,MANET)作为一种特殊的无线移动网络，由于其无需架设网络设施、可快速展开、网络节点可随意移动并且能以任意方式相互通信等特点，被广泛应用于民用和现代军事通信中。移动自组织网络是一种多交叉学科结合的综合技术，如何构建安全、稳定、可靠的移动自组织网络是当前通信领域待解决的方面。移动节点对移动自组织网络构建稳定拓扑结构的影响，使节点之间构建稳定的拓扑结构进行信息传输成为MANET要解决的重要问题。

目前，基于深度学习和机器学习方法对节点的运动轨迹、位置或链路质量进行预测来选择最可靠路径进行信息传输，使得节点传输过程中链路联接保持较长时间。这些方法在判定链路稳定性方面与传统的方法判定链路稳定性相比虽然效果较好，但都存在一定的局限性。现有的方法分为以下几个方面：1.)通过节点的移动特性来预测网络中链路联接的稳定性程度和网络拓扑结构，基于自适应神经模糊系统来预测节点的运动轨迹选择链路节点进行传输，但是在预测过程中节点之间产生的大量的控制信息造成过大的能耗和运算大的开销；2.)对节点接收信号强度收集，对其进行深度学习训练预测出节点的运动，根据运动轨迹来构建稳定性链路联接，在预测位置的过程中仅考虑节点的相对移动特性不能及时反映节点移动特性的变化，并且采集数据仅采用某个时期的运动参数不能很好反映节点当前的运动特性；3.)根据接收信号强度选择稳定路径的方法，将一段时间内节点接收信号强度平均值把链路分为强联接和弱联接两类，设定阈值选择某一阈值内的链路进行路由传输，但是该方法没有考虑其它因素对链路的综合影响。

现有方法在信息采集过程中，当移动节点个数多时会产生网络通信阻塞、节点运算量大、节点能耗高等缺点，会在链路稳定性判定环节会因为信息通信不流畅使信息不能及时传递或造成节点传输信息丢失，造成分布式MANET拓扑不能高效的进行链路稳定性预测，或者是能够做出链路预测但是稳定性没有保障、可靠性差，且方法执行时间较长。

以上缺陷，限制了MANET的性能，导致能耗增加，生命周期缩短和网络延迟增大，从而影响了链路稳定性预测方法在MANET中的应用。

发明内容

本发明目的在于克服上述已有技术的不足，提供一种稳定性有保障且能自适应边界的移动自组织网络基于自适应边界的分布式拓扑生成方法。

本发明是一种基于自适应边界的分布式强化学习稳定拓扑生成方法，其特征在于，包括有以下步骤：

步骤1动态拓扑构建：在一块区域内布置N个节点，各节点根据移动自组织网络(mobile Ad hoc networks,MANET)中随机游走移动模型(random walk mobility model,RWM)的方式在区域内进行随机移动，形成MANET的动态拓扑结构，定义每个节点都存在一个自适应强化学习的区间[b,a]；