[发明专利]一种面向差异性数据价值与状态的数据采集方法

权利要求书

1.一种面向差异性数据价值与状态的数据采集方法，其特征在于：包括以下步骤：

步骤1：基于马尔可夫过程对差异性数据的采集过程进行建模；

步骤2：基于MADDPG算法框架并采用DNN网络构建策略网络π(·)、评论网络Q(·)、目标策略网络π^-(·)、目标评论网络Q^-(·)；

步骤3：利用策略网络π(·)与评论网络Q(·)对建立的模型进行更新训练与强化学习，寻找出多智能体合作数据采集的最优策略。

2.根据权利要求1所述的一种面向差异性数据价值与状态的数据采集方法，其特征在于：步骤1中所述差异性数据的采集过程建模为M＝＜S,A,K,R,γ＞，其中，S为智能体的状态空间；A为智能体的动作空间；K为智能体从当前状态s_t转移到下一状态s_t+1的状态转移概率；R为智能体所获得的奖励回报；γ为折扣因子，表示未来奖励相对于当前奖励的影响程度。

3.根据权利要求2所述的一种面向差异性数据价值与状态的数据采集方法，其特征在于：所述智能体的状态空间S的表达式如下：

S＝{s_t＝(S_t,1,S_t,2,S_t,3)}，

式中，s_t表示t时刻智能体的状态；S_t,1表示所有智能体与目标区域内所有待收集数据间的距离信息；S_t,2表示所有智能体与目标区域内所有待收集数据间的相对速度信息；S_t,3表示多个智能体合作采集到的不同价值的数据的数量；

表示t时刻智能体u与待收集数据之间的距离信息；表示t时刻智能体u与重要程度为w的待收集数据之间的距离信息；表示智能体u的感知线l₁与重要程度为w的待收集数据之间的距离信息；

表示t时刻智能体u与待收集数据之间的相对速度信息；表示t时刻智能体u与重要程度为w的待收集数据之间的相对速度信息；V_t^u(l₁,w)表示智能体u的感知线l₁与重要程度为w的待收集数据之间的相对速度信息；

表示智能体采集到的重要程度为w的数据的数量。

4.根据权利要求2所述的一种面向差异性数据价值与状态的数据采集方法，其特征在于：所述智能体的动作空间A的表达式如下：

式中，a_t表示t时刻智能体的动作空间；表示t时刻智能体u的动作空间；表示智能体u在x轴和y轴上的位移。

5.根据权利要求2所述的一种面向差异性数据价值与状态的数据采集方法，其特征在于：所述智能体从当前状态s_t转移到下一状态s_t+1的状态转移概率K的表达式如下：

K:S×A×S→[0,1]

式中，S为智能体的状态空间，A为智能体的动作空间。