[发明专利]一种基于深度强化学习的无人机辅助资源分配方法

说明书

本发明提供一种基于深度强化学习的无人机辅助资源分配方法，包括以下步骤：S1：构建深度强化学习模型，得到神经网络，并初始化神经网络参数；S2：获取智能设备产生的计算任务信息并整合成系统状态S_t；S3：输入系统状态S_t对神经网络进行训练，得到系统动作A_t；S4：根据系统动作A_t计算得到相应的总开销C_total；S5：根据总开销C_total训练神经网络，得到使总开销最小化的系统动作；S6：完成神经网络的训练，按照得到的使总开销最小化的系统动作进行资源分配。本发明提供一种基于深度强化学习的无人机辅助资源分配方法，解决了目前工业物联网智能设备的计算任务时间延迟和能量消耗都比较高的问题。

技术领域

本发明涉及资源分配优化技术领域，更具体的，涉及一种基于深度强化学习的无人机辅助资源分配方法。

背景技术

工业是物联网应用的重要领域，具有环境感知能力的各类智能设备、基于泛在技术的计算模式、移动通信等不断融入到工业生产的各个环节，可大幅提高制造效率，改善产品质量，降低产品成本和资源消耗，加速传统工业向智能化转变。

无线智能设备网络已广泛应用于野外或者工业等诸多领域，在这些场景下的智能设备由于外形因素小、生产成本约束严格，在电池电量方面往往受到限制。依靠传统的能源供应，更换电池的频率将会很高，限制了无线智能设备网络的部署。无线功率传输(WPT)技术可以为低功耗的物联网无线网络提供具有成本效益低的能源供应，利用WPT的无线智能设备的电池可以在空气中持续充电，不需要更换电池，能够降低电池更换频率和维持网络寿命。

同时，智能设备还会在计算能力方面受到限制，但是又由于智能设备经常会以一定的频率产生一些计算任务需要处理，如果不及时进行处理，将会导致任务被丢弃，造成不可挽回的后果。通过移动边缘计算(MEC)将智能设备产生的计算密集型任务转移到附近的边缘服务器，从而减少计算延迟和能耗，增强低功耗网络(如无线智能设备)的数据处理能力，延长整个网络的寿命并且提高网络的服务质量。

但是，目前针对工业物联网智能设备的资源分配优化程度不够高，导致计算任务时间延迟和能量消耗都比较高。现有技术中，如一种基于能量收集技术的联合计算卸载方法及装置，公开号为CN109829332A，仅针对计算卸载进行资源分配优化，只提高了计算性能，而没有结合无线充电进行优化。

发明内容

本发明为克服目前工业物联网智能设备的计算任务时间延迟和能量消耗都比较高的技术缺陷，提供一种基于深度强化学习的无人机辅助资源分配方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于深度强化学习的无人机辅助资源分配方法，包括以下步骤：

S1：构建深度强化学习模型，得到神经网络，并初始化神经网络参数；

S2：获取智能设备产生的计算任务信息并整合成系统状态S_t；

其中，t表示决策时隙；

S3：输入系统状态S_t对神经网络进行训练，得到系统动作A_t；

S4：根据系统动作A_t计算得到相应的总开销C_total；

S5：根据总开销C_total训练神经网络，得到使总开销最小化的系统动作；

S6：完成神经网络的训练，按照得到的使总开销最小化的系统动作进行资源分配。

优选的，初始化的神经网络参数包括权重、偏置、学习率、神经网络的层数。