[发明专利]一种基于深度强化学习的机具三维定位方法

说明书

本发明公开了一种基于深度强化学习的机具三维定位方法，即在三维空间中，降低移动机具定位误差的深度强化学习方法。所述方法包括：根据三维定位几何模型计算出移动台位置特征信息；根据已得到的位置特征信息构建马尔科夫过程；根据深度强化学习框架计算出损失函数值和相应的Q函数；根据马尔科夫过程及损失函数和Q函数训练出基于三维定位的深度Q网络。

技术领域

本发明属于移动通信领域，尤其涉及一种基于深度强化学习的机具三维定位方法。

背景技术

随着经济的发展，电网的建设发展很快，在日常的输变电线路运行安全维护工作中，会使用大量的机具。针对目前机具的实时坐标定位的迫切需求，实现一套可用于实时环境监控、紧急任务救援以及高效任务调度的室外定位系统显得尤为重要。

深度强化学习(DRL)研究的一个经典场景是迷宫导航。此外，基于DRL的导航定位研究已经从计算视觉扩展到现实应用中。为了更好的将基于DRL的导航定位应用在未来5G的发展中，基于DRL无线定位的研究是非常有意义的。

发明内容

为了降低电网机具的定位误差，本发明公开了一种基于深度强化学习的机具三维定位方法。

本发明实施例提供了如下技术方案：

一种基于深度强化学习的机具三维定位方法，所述方法包括：

深度强化学习的三维定位方法，其特征在于，包括如下步骤：

步骤A，根据三维定位几何模型计算出移动台位置特征信息；

步骤B，根据已得到的位置特征信息构建马尔科夫过程；

步骤C，根据深度强化学习框架计算出损失函数值和相应的Q函数；

步骤D，根据马尔科夫过程及损失函数和Q函数训练出基于三维定位的深度Q网络。

其中，步骤A具体包括：

A1，根据三维定位的几何模型，假设基站的三维坐标可表示为P_B＝(x_B，y_B，z_B)^T，障碍物的三维坐标为P_S，n＝(x_S，n，y_S，n，z_S，n)^T，移动台的三维坐标科表示为P_M＝(x_M，y_M，z_M)^T，其中x，y，z为三维空间坐标。基站到目标的传播路径长度由d_n表示。它由两部分组成，即基站到障碍物的路径长度为r_n和从障碍物到移动台的路径长度为(d_n-r_n)。

其中，步骤B具体包括：

B1，根据已有的三维无线定位位置信息，MDP中的状态空间s_t由目标位置特征(到达角)AOA、(离开角)AOD、(到达时间)TOA组成，TOA可由传播路径长度测量得出，传播路径的长度由d_n表示，而第n个非视距(NLOS)传播路径的AOD表示为第n个NLOS传播路径的AOA表示为其中当时，

B2，MDP的动作空间a_t则由目标根据状态s_t做出采取行动的动作组成，包括保持在同一个网格上，向北、南、西、东、西北、东北、西南、东南方向移动一个网格；

B3，MDP的奖励函数设置为