[发明专利]一种基于多智能体深度强化学习与最小二乘的定位方法

权利要求书

1.一种基于多智能体深度强化学习与最小二乘的定位方法，其特征在于，采用多个无人机进行辅助定位，无人机与定位目标之间相互通信，基于多智能体深度强化学习对无人机进行定位，再通过最小二乘对定位目标进行定位，具体包括以下步骤：

S1、根据定位目标位置，设定目标范围，将定位目标范围划分为N个格点，在网格环境中依次随机生成定位目标和多个无人机的训练和测试用的轨迹数据，生成的轨迹数据需满足每个无人机与定位目标之间的距离不超过设定的阈值距离d₀，同时所有的无人机之间相互不碰撞，无人机之间的位置关系满足：

A^TA≠0

其中，A是一个已知矩阵：

x_i和y_i是第i个无人机的位置坐标，i＝1,2,...,L，L≥3是接收器的数量；

S2、使用路径损耗模型生成两组RSS数据，第一组是无人机在t-1时刻位置接收到定位目标在t时刻位置的RSS数据，第二组是无人机在t时刻位置接收到目标在t时刻位置的RSS数据；

S3、使用第一组数据基于最小二乘算法估计定位目标的位置，得到的对定位目标位置的估计将结合其真实位置标签，用于多智能体深度强化学习中奖赏函数的计算，奖赏值又将参与深度神经网络中损失值的计算，再通过深度强化学习的训练，来不断优化对定位目标的估计误差；

S4、使用第二组数据基于多智能体深度强化学习算法，根据前一时刻的无人机位置和这一时刻的RSS数据估计无人机这一时刻的位置；再结合S3中得到的奖赏函数，使用多智能体深度强化学习算法评估对定位目标的估计，根据评估结果即奖赏值，来训练神经网络，以不断优化目标的定位误差；

多智能体深度强化学习算法的实现方式是：

状态s：包括四部分，第一部分为所有无人机的位置坐标；第二部分为n个历史动作，每个动作用一个one-hot编码表示，编码位数为动作的维数，表示动作的位数上编码为1，其它为0；第三部分为无人机与定位目标在对应的同一时刻位置上收集到的RSS；第四部分为对定位目标定位的越界判断标志，当对目标的估计超出给定范围，就标记为越界；；

动作a：将无人机的动作设计为九维，包括八个方向和静止不动，无人机每次移动的步长为一个格点的宽度；

奖励r：设计奖励函数为：

其中，d是对定位目标的估计位置与其真实位置之间的距离误差，d_n是无人机与目标之间的平均距离，d₀是预设的3个智能体与目标之间的平均距离阈值，d_th是预设的对目标位置估计的距离阈值；并且当0≤d≤0.05，令r＝20；

采用经验池D来存储经验e＝[s,a₁,...,a_N,r,s']，其中s'是下一时刻状态，从经验池D中取出数据对神经网络参数进行训练，更新神经网络的参数。

S5、使用上述步骤中训练好的神经网络模型，对目标进行目标定位。

2.根据权利要求1所述的一种基于多智能体深度强化学习与最小二乘的定位方法，其特征在于，S3的具体方法为下面三种方法之一：

1)基于线性最小二乘算法估计目标在t时刻的位置，对目标向量θ的线性无偏估计量为：

其中，是代替观测向量b的变量，根据最佳线性无偏估计器得到的最终位置估计用表示，从的第一项和第二项中提取出来表示为：

2)基于加权最小二乘算法估计目标在t时刻的位置，对目标向量θ在的无偏估计量为：

其中，C_b是的噪声协方差，是其逆矩阵的形式，表示为：

其中，r_l是RSS测量值，α是路径损耗常数，是和噪声有关的参数；根据最佳线性无偏估计器得到的最终位置估计用表示，从的第一项和第二项中提取出来表示为：

3)使用改进的最小二乘算法估计目标在t时刻的位置，对目标向量z的最佳线性无偏估计结果是：

其中，x、y是定位目标的真实位置标签，R＝x²+y²是引入的范围变量，C_q是q的协方差，是其逆矩阵，改进的估计位置由表示：

其中，sgn是符号函数。