[发明专利]一种基于意图推理与深度强化学习的移动目标搜索跟踪方法及系统

说明书

一种基于意图推理与深度强化学习的移动目标搜索跟踪方法及系统，涉及移动目标搜索跟踪技术领域，用以解决现有技术对复杂环境中运动的移动目标跟踪效果差、目标丢失之后搜索效率低的问题。本发明的技术要点包括：建立移动目标运动意图推理模型，根据观测到的移动目标运动状态推理目标的运动意图；基于推理的移动目标运动意图预测移动目标在丢失之后可能出现的位置；采用深度强化学习方法训练移动目标丢失之后的搜索策略；使用训练好的搜索策略对丢失的目标进行快速搜索，从而实现对目标的长期跟踪。本发明在移动目标运动模型未知时可以准确地预测出目标的运动轨迹，训练的搜索策略具有更好的泛化能力与鲁棒性，从而可快速搜索到丢失的目标。

技术领域

本发明涉及移动目标搜索跟踪技术领域，具体涉及一种基于意图推理与深度强化学习的移动目标搜索跟踪方法及系统。

背景技术

解决移动目标搜索跟踪问题的一般思路是首先根据观测到的目标状态以及目标运动模型预测目标未来的运动轨迹，然后在此基础上设计优化指标，从而求解最优的搜索跟踪指令，控制搜索跟踪系统对目标进行跟踪或者搜索。设计的优化目标通常是最小化未来一段时间内对目标状态观测的不确定性程度或者最大化对目标的跟踪时间，当目标丢失之后，优化目标通常是最小化再次发现目标的时间间隔。在对目标的运动轨迹进行预测时，通常使用卡尔曼滤波、扩展卡尔曼滤波、无迹卡尔曼滤波以及粒子滤波等滤波方法对目标的运动轨迹进行预测。这类目标运动轨迹预测方法非常依赖目标的运动模型，在目标运动模型已知时具有较好的预测精度，若没有精确的目标运动模型，则无法准确预测出目标的运动轨迹，在目标丢失之后很难再次搜索到目标，进而难以实现对目标的长期跟踪。此外，在求解跟踪搜索指令时，通常使用基于规则的优化方法优化设计的目标函数，例如基于凸优化的优化算法、启发式优化算法以及树搜索算法，这些算法完全基于设计的优化指标来求解搜索跟踪指令，当设计的优化指标正确时，通过这种基于规则的方式求解出的搜索跟踪指令可以很好的满足需求。然而，当设计的优化指标出现偏差时，比如当预测的目标运动轨迹不准确且优化指标的设计依赖预测的运动轨迹时，这种基于规则的优化方法难以避免优化指标出现偏差带来的影响，因而求解出的搜索跟踪指令也将出现偏差，导致难以搜索到丢失的目标，进而难以实现对目标的长期跟踪。当目标在复杂环境中运动且具有对抗行为时，这种问题将更加严重。

发明内容

为了解决现有方法对复杂环境中运动的移动目标跟踪效果差、目标丢失之后搜索效率低的问题，本发明提出一种基于意图推理与深度强化学习的移动目标搜索跟踪方法及系统，当目标在视野中时，可以通过观测到的目标状态推理出目标的运动意图，当目标丢失之后，可以基于推理的目标运动意图预测目标的运动轨迹，然后使用经过深度强化学习方法训练出的搜索策略快速搜索到丢失的目标，实现对复杂环境中运动的具有对抗行为的移动目标的长期跟踪。

根据本发明的一方面，提供一种基于意图推理与深度强化学习的移动目标搜索跟踪方法，该方法包括以下步骤：

步骤一、获取移动目标运动轨迹数据和移动目标所处运动环境地图，以构建训练数据集；

步骤二、对所述训练数据集进行离散化处理，以构建特征地图矩阵；

步骤三、将所述特征地图矩阵输入基于卷积神经网络的目标运动意图推理模型进行训练，获得训练好的目标运动意图推理模型；

步骤四、使用训练好的目标运动意图推理模型推理未知运动轨迹的移动目标的运动意图；

步骤五、基于推理的未知运动轨迹的移动目标的运动意图，预测移动目标在丢失之后的运动轨迹；

步骤六、基于移动目标在丢失之后的运动轨迹，采用深度强化学习方法训练移动目标丢失之后搜索移动目标的搜索策略；

步骤七、利用训练好的搜索策略对丢失的移动目标进行快速搜索，以实现对移动目标的长期跟踪。