[发明专利]一种面向差异性数据价值与状态的数据采集方法

说明书

本发明属于移动数据采集技术领域，具体涉及一种面向差异性数据价值与状态的数据采集方法，具体包括：步骤1：基于马尔可夫过程对差异性数据的采集过程进行建模；步骤2：基于MADDPG算法框架并采用DNN网络构建策略网络π(·)、评论网络Q(·)、目标策略网络π‑(·)、目标评论网络Q^‑(·)；步骤3：利用策略网络π(·)、评论网络Q(·)对建立的模型进行更新训练与强化学习，寻找出多智能体合作数据采集的最优策略。本发明从多角度、多方位获得与区域数据的采集信息。通过动作幅度奖励、距离奖励、数据采集奖励、碰撞避免等引导性奖励构建奖励机制，使得多个智能体在未知环境下实现对高质量数据的协同优先采集、碰撞避免、路径规划，最终实现采集任务的数据质量最大化。

技术领域

本发明属于移动数据采集技术领域，具体涉及一种面向差异性数据价值与状态的数据采集方法。

背景技术

数据采集是感知、决策的基础性。目前数据采集的常用方法为Mobile crowd-sensing，其是利用网络中群体移动设备自主完成环境感知任务，是一种前景广泛的数据获取方式。但是，上述数据采集方法存在以下不足：

1)认为被采集数据对象是同质的，即被采集的数据具有相同的重要程度，不考虑数据在价值方面的差异性；

2)通常以静态目标作为数据采集对象，对数据采集对象的动态性和外部环境的动态性缺少考虑。

鉴于此，亟待发明一种环境未知情况下，可针对数据价值不同、数据状态不同的数据采集新方法。

发明内容

本发明为克服现有技术中的不足，提供了一种面向差异性数据价值与状态的数据采集方法。

为实现上述目的，本发明是通过以下技术方案来实现：

一种面向差异性数据价值与状态的数据采集方法，包括以下步骤：

步骤1：基于马尔可夫过程对差异性数据的采集过程进行建模；

步骤2：基于MADDPG算法框架并采用DNN网络构建策略网络π(·)、评论网络Q(·)、目标策略网络π^-(·)、目标评论网络Q^-(·)；

步骤3：利用策略网络π(·)、评论网络Q(·)对建立的模型进行更新训练与强化学习，寻找出多智能体合作数据采集的最优策略。

进一步地，步骤1中所述差异性数据的采集过程建模为M＝＜S,A,K,R,γ＞，其中，S为智能体的状态空间；A为智能体的动作空间；K为智能体从当前状态s_t转移到下一状态s_t+1的状态转移概率；R为智能体所获得的奖励回报；γ为折扣因子，表示未来奖励相对于当前奖励的影响程度。

进一步地，所述智能体的状态空间S表达式如下：

S＝{s_t＝(S_t,1,S_t,2,S_t,3)}，

式中，s_t表示t时刻智能体的状态；S_t,1表示所有智能体与目标区域内所有待收集数据间的距离信息；S_t,2表示所有智能体与目标区域内所有待收集数据间的相对速度信息；S_t,3表示多个智能体合作采集到的不同价值的数据的数量；

表示t时刻智能体u与待收集数据之间的距离信息；表示t时刻智能体u与重要程度为w的待收集数据之间的距离信息；表示智能体u的感知线l₁与重要程度为w的待收集数据之间的距离信息；