[发明专利]基于深度强化学习的车辆数据采集频率动态调节方法

说明书

本发明设计了一套应用于道路安全的算法，实现了在监控路上车辆时数据采集频率的动态调整。由于数据中心监控道路的车辆情况时都是固定的数据采集频率，可能会导致对危险情况的关注度不够，造成不必要的资源浪费，同时大量上传的数据也会对数据中心处理数据产生一定的压力，因此考虑在数据的采集过程中对数据进行预处理。本发明通过对道路环境与车辆移动的建模，获得采集频率与道路状况的匹配度。通过结合深度强化学习算法，找出在每个时刻针对于每种状况的最优决策，从而获得最优的匹配度与最少的能源消耗，从而极大提升数据中心对行驶车辆数据采集的效率。

技术领域

本发明涉及无线通信方法领域，以及计算机领域中基于神经网络的深度强化学习算法，属于交叉学科的方法应用。

背景技术

车联网概念引申自物联网(Internet of Things),智能交通系统是一个巨大的互动信息网络，如车辆位置，速度和路线。通过GPS，射频识别方法，传感器，摄像机图像处理等设备，车辆可以完成自身环境和状态信息的收集；通过互联网方法，所有车辆都可以将各种信息传输到中央处理器；通过计算机方法，可以分析和处理大量车辆上的这些信息，以计算不同车辆的最佳路线，及时报告道路状况，并安排信号周期。

正是由于车联网有着非常丰富的上层应用，为了服务于日益增长的大数据分析需求，合理利用计算资源，需要数据采集端在采集数据时也体现出智能化，而非传统的固定频率。智能的数据采集频率调节方法可以帮助上层计算中心预先过滤掉一部分无用的信息，提升计算有效性，同时节省传感器的能源消耗。

发明内容

本发明所要解决的方法问题是在车联网的发展背景下，针对目前通常采取固定车辆数据采集频率的系统，提供了一种基于深度强化学习的车辆数据采集频率动态调节方法，以有效提高系统道路安全与计算资源分配。

本发明为解决上述方法问题采用以下方法方案：假设车辆在基站服务区域内行驶的时间为t＝1,...,T，每个服务的时隙为时隙内最小采样间隔为τ。通过动态调整采样间隔的大小a(t)τ，从而为不同的情况匹配不同的采样频率其中，MDP中的动作集状态集s(t)＝{f(t),var(t)}，即每个时刻的频率与速度的样本方差。每个时刻动作的选择会参考状态中的样本方差，而动作的选定也会改变状态中的频率。

系统的已知量与目标：车辆的速度公式为：在每个时刻t，系统选择不同的采样间隔a(t)τ，以获得不同的数据采集频率此外，系统会有一个长度为L的数据库用来保存历史速度值：

V＝{v(t-1-L),v(t-L),...,v(t-1)}，基于这些历史数据，通过我们所建立的机制得到相应的采集频率f_var。最终，使Z(t)＝|f(t)-f_var(t)|越小越好，从而实现动态频率调节的功能。

步骤11)为了实现对车辆数据的动态采集，因此先将车辆以高斯-马尔科夫移动模型建模，根据Gauss-Markov移动模型：其中φ(t)服从以下推导速度方差的上界：

…

综上，

移项得

因此：

速度方差的上界：

步骤12)每个时刻系统都会根据之前保存的车辆速度值计算方差，再根据方差去调整车辆的数据采集频率。在此我们定义一个数据长度为L的数据库用来保存历史速度值：V＝{v(t-1-L),v(t-L),...,v(t-1)}。然后，以无偏估计计算样本速度的方差：