[发明专利]一种基于多智能体深度强化学习与最小二乘的定位方法

说明书

本发明属于无人机辅助轨迹定位的方法，具体涉及一种基于多智能体深度强化学习与最小二乘算法的定位方法。本发明建模一个无人机群与目标机器人相互通信的场景，利用有标签的无人机群和目标机器人的轨迹数据，以及二者之间的接收信号强度进行定位。首先使用最小二乘算法对目标位置进行定位，然后基于多智能体深度强化学习算法对无人机群进行自主定位，同时评估对目标位置的估计。训练过程中，使用深度神经网络处理高维状态输入，借助标签位置信息计算奖赏值，并考虑到多个智能体之间的异构性，进行了相关的仿真实验。通过训练可以得到一个自适应的网络模型，对处理高维异构数据也有一定的鲁棒性。因此，本发明是一种良好的定位替代技术。

技术领域

本发明属于定位技术领域，具体是涉及一种基于多智能体深度强化学习与最小二乘的定位方法。

背景技术

通信网络技术和智能移动终端设备的迅速发展促进了基于位置服务(LocationBased Services，LBSs)的应用的出现，LBSs一旦通过特定的技术获取到了用户的地理位置，就能够在相关平台为用户提供多种个性化服务。如今，LBSs无论从日常休闲、紧急救险、军事还是商业等各个领域来说，都已经成为人们生活中不可或缺的一部分。定位技术作为LBSs的基础技术之一，也因此受到了广泛研究学者的密切关注。

天基卫星导航系统，如全球定位系统(Global Positioning System，GPS)在户外场景中能够提供令人满意的定位精度和导航性能，但由于GPS价格昂贵，而且极易受到干扰，在恶劣的天气条件下性能也会变差，因此并不是所有的通信设备都配备了GPS。此外，在有自然灾害发生的情况下，固定位置的基站可能会遭到破坏，就无法使用GPS确定目标位置，因此，也有一些学者广泛研究了替代定位技术。其中，无线电接收信号强度(ReceivedSignal Strength，RSS)因其可以很容易地从不同类型的网络中获得，不需要额外的天线或时间同步，并且获取成本低等优势，被广泛地用于定位技术。有研究考虑到可以使用强化学习(Reinforcement Learning，RL)借助无人机(Unmanned Aerial Vehicles，UAVs)进行辅助定位，因为无人机可以从多个不同角度测量物体的RSS，并具有更高的视线(Line-of-Sight，LoS)概率，并且RL可以将问题转化为序列决策问题，对状态、动作和奖赏函数进行自主定义，使无人机智能化地进行自主定位，同时可以评估算法对定位目标位置的估计，从而设计一个最优化的定位策略。

文献“Ebrahimi,Dariush,et al.Autonomous UAV trajectory for localizingground objects:A reinforcement learning approach.IEEE Transactions on MobileComputing 20.4(2020):1312-1324”使用RL中的传统Q-Learning算法借助UAV的辅助对地面物体进行定位，Q-Learning算法的特点是利用表格储存状态-动作对，只能存储有限的信息处理低维数据，无法适用海量数据的实际场景。并且Q-Learning属于单智能体RL算法，而在借助UAV进行辅助定位的时候，一般是多个UAV形成无人机群组，使用单智能体RL会限制智能体的搜索空间、阻碍对其他智能体的感知，降低系统的鲁棒性。