[发明专利]基于深度强化学习的车辆数据采集频率动态调节方法

摘要

本发明设计了一套应用于道路安全的算法，实现了在监控路上车辆时数据采集频率的动态调整。由于数据中心监控道路的车辆情况时都是固定的数据采集频率，可能会导致对危险情况的关注度不够，造成不必要的资源浪费，同时大量上传的数据也会对数据中心处理数据产生一定的压力，因此考虑在数据的采集过程中对数据进行预处理。本发明通过对道路环境与车辆移动的建模，获得采集频率与道路状况的匹配度。通过结合深度强化学习算法，找出在每个时刻针对于每种状况的最优决策，从而获得最优的匹配度与最少的能源消耗，从而极大提升数据中心对行驶车辆数据采集的效率。

主权项

1.一种基于深度强化学习的车辆数据采集频率动态调节方法，其特征包括：在道路安全的角度对道路上车辆的数据采集频率进行动态规划；通过深度神经网络的学习方法找算法中的最优决策，以获得比较理想的效果；所述在道路安全的角度对道路上车辆的数据采集频率进行动态规划，包括：步骤11)为了实现对车辆数据的动态采集，因此先将车辆以高斯‑马尔科夫移动模型建模，根据Gauss‑Markov移动模型：其中φ(t)服从以下推导速度方差的上界：…综上，移项得因此：速度方差的上界：步骤12)每个时刻系统都会根据之前保存的车辆速度值计算方差，再根据方差去调整车辆的数据采集频率，在此我们定义一个数据长度为L的数据库用来保存历史速度值：V＝{v(t‑1‑L),v(t‑L),...,v(t‑1)}，然后，以无偏估计计算样本速度的方差：步骤13)归一化样本方差：由于样本方差var(t)的最大值不一定小于总体方差最大值D_max，因此考虑使用sigmoid函数，在归一化值var大于1时，其对应的频率还保持为频率的最大值，根据sigmoid公式：通过调整公式中的参数θ,γ，可以修改不同的频率f_var与归一化方差var的对应关系，然后再通过将动作选择的频率f(t)与方差匹配的频率f_var(t)做差Z(t)＝|f(t)‑f_var(t)|，最小化两者的差值以优化频率的选择，Reward：R(t)＝1‑Z(t)，差值Z(t)越小，回报R(t)越大。