[发明专利]一种基于深度强化学习的无人机数据收集方法

说明书

本发明公开了一种基于深度强化学习的无人机数据收集方法，本发明采用的无人机作为中继转发技术，能够突破无线传感网络在远距离或者环境恶劣场景部署上的约束，降低传感节点的发射功率，延长网络生命周期。本发明同时考虑到传感节点的随机采样应用场景，在不预先知道每个节点的数据采样状态下，采用无人机的在线学习数据收集方法，提高了针对节点的固定或随机采样模式的适应性，能够保证传感节点数据的时效性，降低数据分组的丢包率。与现有的无人机辅助无线传感网络收集方法相比较。本发明采用了基于深度强化学习的无人机数据收集方法，可以适用于更加多样化的无线传感网络。

技术领域

本发明属于无线传感网络数据感知与数据收集技术领域，特别涉及一种基于深度强化学习的无人机数据收集方法。

背景技术

在物联网中，无线传感网络作为数据感知和收集的重要载体，在万物连接、环境与自然灾害监测等方面发挥着巨大的应用价值。无线传感网络的主要任务是数据处理、无线通信、感知数据等。数据收集问题研究数据终端如何通过无线传感网络从监控区域收集感知数据。举例来说，传感节点可以将采集到的数据通过单跳或多跳自组织网络传送到数据终端，然后进行数据处理。现有的数据收集方法主要有：基于压缩感知的数据收集方法，基于分簇的数据收集方法，结合压缩感知和分簇技术的数据收集方法，以及无人机辅助的数据收集方法。

5G技术的快速发展与应用使得物联网应用环境更加多样化，网络结构更加复杂，传感节点部署更加密集。传感节点自身的能量、计算和存储能力十分有限，特别是能量存储非常有限。而大量的感知数据在网络中传输，增加了节点能量的消耗，这使得网络的生命周期难以得到保证。无人机(Unmanned Aerial Vehicles,UAV)具有高机动性、易于安装和相对较低的应用成本等特点，在5G物联网感知数据收集方面具有很切实的可行性和应用前景。无人机作为可控的移动数据收集器，可以到达环境恶劣或者没有网络设施的应用场景，一方面用于传感节点的数据收集与转发传输，不依赖于物联网中无线传感网络结构；另一方面可以在飞到传感节点的上空进行数据收集，有利于降低传感节点的发射功率和能量消耗，延长节点的使用寿命进而提高物联网的生命周期。

无线传感网络中传感节点的主要能耗在数据的采集与发送上，所以高效的数据收集方案对于网络的能耗节省至关重要。当前，无线传感网络中数据收集方法主要有以下几种：

方法1：基于压缩感知的数据收集方法将压缩感知理论应用到无线传感网络中，其主要利用数据在特定传输域中的稀疏性，对数据进行压缩，使得要传输的采样数据量少于原始采样数据量，进而减少传感节点的传输能耗。

方法2：基于分簇的数据收集方法能够提高网络的连通性，降低数据传输时延，同样可以有效地降低网络中的能耗。

方法3：为了提高数据收集效用，现有技术公开了一种应用了无人机为传感节点提供无线能量传输技术。无人机携带无线电力传输设备飞行到数据收集移动簇头点进行数据的收集与传感节点能量的补充。

然而，现有技术中存在以下问题：

1.针对方法1中的压缩感知的基于压缩感知的数据收集方法，该方法编码过程简单，对计算能力和存储能力要求非常低，而解码相对复杂，对计算存储能力要求较高。直接将压缩感知技术应用到无线网络数据收集中，虽然可以降低传感节点的能量消耗，但并不能显著提高网络的吞吐量。

2.针对方法2的数据收集方法严重依赖于簇头节点的传输能力与能量储备，簇头节点承担了网络中绝大部分的数据转发业务，容易导致节点能量很快耗尽，使无线传感网络功能缺失。同时，无线网络需要进行路由协议建立及维护，增加了各节点软硬件的复杂度。

3.针对方法3的无限能量传输技术，该方法不适合时延敏感性网络场景，因为无人机需要频繁返回基站进行电量补充。

发明内容