[发明专利]基于多智能体增强学习的WSN能量效率优化路由方法

权利要求书

1.一种基于多智能体增强学习的WSN能量效率优化路由方法，其特征在于，包括以下步骤：

S1：对于拟部署的无线传感网络，记连接电源的汇聚节点为n⁰，由电池供电的传感器节点为nⁱ，i＝1,2,…,A，A表示由电池供电的传感器节点数量；对于每个传感器节点nⁱ，将位于其通信范围内的其它节点集合作为其邻居节点集合

记每个传感器节点的传输周期为U秒，每个传感器节点在每轮传输中，收集T秒数据，并将收集到的数据发送给汇聚节点；

在每个传感器节点nⁱ上部署一个智能体aⁱ；

S2：构建路由协作决策系统，包括A个决策网络和1个汇聚模块，A个决策网络分别部署在每个传感器节点的智能体aⁱ上，汇聚模块部署在汇聚节点n⁰上，其中：

决策网络用于确定本次路由决策中传感器节点nⁱ选择其它节点作为父节点的概率向量其中表示本次路由决策中传感器节点nⁱ选择节点n^j作为父节点的概率，j＝0,1,…,A，t表示本次路由决策所在时刻，并将概率向量根据现有路由上传至汇聚模块；决策网络包括神经网络和修正模块，其中神经网络的输入为由本地观察值向量和位置向量Posⁱ所拼接得到的输入向量，处理得到初步概率向量并发送给修正模块，其中表示本次初步路由决策中传感器节点nⁱ选择节点n^j作为父节点的概率；

本地观察值向量的确定方法为：获取传感器节点nⁱ在过去B₁个时刻从环境中收集到的数据量其中b₁＝1,2,…,B₁；获取传感器节点nⁱ在过去B₂个时刻作为中继节点为其它传感器节点转发的数据量其中b₂＝1,2,…,B₂；获取传感器节点nⁱ在当前时刻的剩余能量W^i,t，根据数据量数据量和剩余能量W^i,t的理论最大值对各个数据进行归一化，得到归一化后的数据量数据量和剩余能量

其中，和分别表示数据量数据量和剩余能量W^i,t的理论最大值；

然后将归一化的各个数据拼接得到本地观察值向量

位置向量Posⁱ的确定方法为：以汇聚节点为原点建立二维直角坐标系，传感器节点nⁱ获取自身在此坐标系下的坐标位置分别表示横坐标和纵坐标；然后获取传感器节点nⁱ和汇聚节点之间的距离disⁱ，筛选得到A个距离disⁱ中的最大值max_dis，据此对坐标位置进行归一化得到位置向量

修正模块用于根据传感器节点nⁱ的邻居节点集合对初始概率向量进行修正得到修正后的概率向量具体方法为：对于概率向量中的每个概率分量如果对应的节点n^j不属于传感器节点nⁱ的邻居节点集合则将概率分量置为0，否则不作任何操作，最后对修正后的概率向量进行归一化处理，则归一化后的概率向量中每个概率分量为：

汇聚模块用于根据A个决策网络上传的概率向量进行路由决策，具体方法为：首先根据A个概率向量生成当前无线传感网络的生成树，然后以汇聚节点为根节点，根据生成树重新计算每个传感器节点的路由方案；

S3：采用多智能体增强学习算法对路由协作决策系统中的A个智能体aⁱ的决策网络进行训练；

S4：对无线传感器网络进行部署，包括以下步骤：

S4.1：根据步骤S1中传感器节点的预定义部署位置和邻居关系，将节点间的距离作为权重，计算得到无线传感器网络的最小生成树；然后在所得到的最小生成树中，将汇聚节点作为根节点，计算每个传感器节点的初始路由；

S4.2：按照预定义的部署位置将邻居节点信息和初始路由信息写入各传感器节点的配置文件中；

S4.3：将各传感器节点的位置信息写入汇聚节点；

S4.4：按照预定义的部署位置在实际环境中部署各传感器节点；

S5：无线传感网络启动时，每个传感器节点nⁱ设置两个计数器并初始化其值为0，两个计数器分别用于对收集数据量和转发数据量进行计数，其中收集数据量用于统计每次传输时传感器节点nⁱ发送的自己从环境中收集到的数据量，转发数据量用于统计每次传输时传感器节点nⁱ作为中继节点转发的来自其它传感器节点的数据量；每个传感器节点nⁱ初始化传输次数m＝1；

S6：各传感器节点持续对环境进行检测，并接收其它传感器节点发送的数据，每间隔U秒按照当前的路由信息向汇聚节点发送本次传输周期内收集到的数据，并作为中继节点转发来自其他传感器节点的数据；记传感器节点nⁱ在第m轮传输时向父节点所发送的自身收集的数据量为作为中继节点转发的来自其它传感器节点的数据量为令收集数据量转发数据量

S7：获取剩余电量，判断是否有传感器节点剩余电量在阈值以下，如果是，则判定网络瘫痪，路由决策结束，否则进入步骤S8；

S8：判断是否m％M＝0，M表示预设的传输周期，如果是，进入步骤S9，否则返回步骤S6；

S9：A个智能体aⁱ协作决策，为无线传感网络更新路由方案，具体方法包括以下步骤：

S9.1：每个智能体aⁱ分别获取对应传感器节点nⁱ的收集数据量和转发数据量令本次更新中收集数据量和转发数据量然后将收集数据量和转发数据量置零；

S9.2：每个智能体aⁱ分别获取其当前的本地观察值向量和位置向量Posⁱ，然后拼接得到输入向量输入对应的决策网络，得到概率向量

S9.3：每个传感器节点nⁱ将概率向量按照当前的路由发送给汇聚节点；

S9.4：汇聚节点接收到概率向量后，由汇聚模块重新计算每个传感器节点的路由方案并下发至相应的传感器节点，返回步骤S6。