[发明专利]一种基于深度强化学习更新卡尔曼滤波器的目标追踪方法

说明书

本发明涉及一种基于深度强化学习更新卡尔曼滤波器的目标追踪方法。该方法包括以下步骤：利用传感器进行数据采集，获得原始追踪场景数据；对原始追踪场景数据进行分类，获得不同目标追踪场景下的数据；针对不同目标追踪场景下的数据，分别利用深度强化学习的方法进行多次训练直到收敛，获得最优策略，最优策略是一个神经网络，输入为卡尔曼滤波器的预测值与传感器的测量值，输出的动作为卡尔曼滤波器的更新方法；将最优策略进行线下部署，应用到实际的追踪场景进行目标追踪。本发明适用于实际传感器网络中的目标追踪，有效提高了追踪的精度。

技术领域

本发明属于无线传感器网络中的目标追踪技术领域，特别是一种基于深度强化学习更新卡尔曼滤波器的目标追踪方法。

背景技术

无线传感器网络(wireless sensor networks，简称WSNs)是由部署在检测区域内的大量微型传感器节点组成的自组织网络，目的是智能监测与感知环境中各种参数的信息，并将数据发送至上层进行分析处理。目前WSNs已经具备了广泛的应用范围，包括移动目标的导航和控制、环境监测、机器状态监测和维护、灾难恢复和医疗保健等，而目标追踪是传感器网络的一个极其重要应用[Yu G,Ren F,Ji Y,et al.The Evolution of SinkMobility Management in Wireless Sensor Networks:A Survey[J].IEEECommunications SurveysTutorials,2017,18(1):507-524.]。

深度强化学习将深度学习的感知能力和强化学习的决策能力相结合的一种方法[刘全,翟建伟,章宗长,et al.深度强化学习综述[J].计算机学报,v.41；No.421(1):3-29.]，具有很强的通用性，在每个时刻智能体与环境交互得到一个高维度的观察，并利用深度强化学习的方法来感知环境，以得到具体的状态特征。同时，该方法能够基于预期回报来评价各动作的价值程度，并通过某种策略将当前状态映射为相应的动作，环境对此动作做出反应，并得到下一个时刻的观察.通过不断循环以上过程，最终可以得到实现目标的最优策略。通过进行大量的数据集训练，我们可以得到一个有着丰富经验的最优策略π[赵星宇,丁世飞.深度强化学习研究综述[J].计算机科学,2018,045(007):1-6.]。

卡尔曼滤波器算法是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法[G.Welch,“An introduction to the kalman filter,”SIGGRAPH 2001Tutorial,2001.]，卡尔曼滤波器算法在目标跟踪领域应用广泛，卡尔曼滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中，估计动态系统的状态，能够有效去除噪声还原真实数据。但是传统的卡尔曼滤波器也存在着一些无法解决的问题[Welch G,Bishop G.An introduction to the Kalman filter[J].1995.]，尤其是在面对探测信息丢失、目标方向发生急转等场景下，该算法会输出误差较大的信息，影响追踪精度。在目标追踪场景下，该方法需要进行改进，以面对复杂场景下的对目标追踪精度的需求。

发明内容

本发明的目的在于提供一种基于深度强化学习更新卡尔曼滤波器的目标追踪方法，从而提高复杂场景下的目标追踪精度。

实现本发明目的的技术解决方案为：一种基于深度强化学习更新卡尔曼滤波器的目标追踪方法，包括以下步骤：

步骤1、利用传感器进行数据采集，获得原始追踪场景数据；

步骤2、对原始追踪场景数据进行分类，获得不同目标追踪场景下的数据；

步骤3、针对不同目标追踪场景下的数据，分别利用深度强化学习的方法进行多次训练直到收敛，获得最优策略π；

步骤4、将最优策略π进行线下部署，应用到实际的追踪场景进行目标追踪。