[发明专利]设备密集型工业物联网中基于端边云协同的任务卸载方法

说明书

本本发明公开了设备密集型工业物联网中基于端边云协同的任务卸载方法，具体步骤如下：步骤1：设置系统模型的各参数；步骤2：采用ISAC‑DMDRL算法来为每个IIoT设备做出最优决策。该算法首先将分布式RL和SAC算法相结合，解决了传统SAC算法对Q值的过估计或低估计问题；然后，采用CTDE框架将改进后的SAC算法扩展到多智能体场景中，解决了多智能体DRL中存在的非平稳性和可扩展性问题；此外，采用了一种值函数分解思想，解决了传统CTDE架构中的集中式‑分布式不匹配问题和多智能体信用分配问题。本发明可有效减少工业物联网中所有设备的任务执行延迟和能耗，平衡边缘服务器的工作负载，提高资源利用率，适用于大规模设备密集型工业物联网场景。

技术领域

本发明涉及设备密集型工业物联网中的协同任务卸载方法，属于工业物联网的边缘计算领域。

背景技术

作为物联网(Internet of Things，IoT)的重要组成部分，工业物联网(Industrial IoT，IIoT)将具有感知、通信和处理能力的大量异构IIoT设备(例如，智能传感器、机器、仪器仪表、机器人和车辆)、以及人工智能和大数据技术等融入到工业生产过程中，以提高制造效率和降低生产成本。因此，IIoT已经成为一种支持工业4.0的有前景范式。然而，由于IIoT设备的计算能力和电池容量有限，难以执行计算密集型和延迟敏感型IIoT应用。在传统的云计算的方案中，IIoT设备需要将其任务卸载到远程云计算服务器(CloudComputing Servers，CCS)，因此，随着IIoT设备和任务的数量的增加，数据流量急剧增加，造成了网络拥塞，导致了更高的任务执行延迟和更低的服务质量(Quality of Service，QoS)。

针对以上问题，边缘计算技术已经成为一种有效的解决方案，该技术将边缘计算服务器(Edge Computing Servers，ECS)部署到IIoT设备附近，使得用户可以直接将任务卸载到ECSs上，以满足IIoT应用对实时性、安全性和可靠性的要求，同时缓解了网络拥塞，降低任务执行延迟，提升QoS。然而，单个ECS的计算能力通常有限，并且由于IIoT网络的异构特性，ECSs的工作负载各不相同。因此，可以利用多个ECSs之间的协作来平衡ECS的工作负载，避免计算资源的浪费。此外，考虑到CCSs的丰富计算资源，ECSs和CCSs之间的协作可以进一步提高资源利用率，降低任务执行延迟，特别是当所有ECSs的计算资源均不足时。因此，需要联合考虑端-边、边-边、边-云之间的协同任务卸载。

真实的IIoT环境通常是动态和不可预测的(如时变的任务参数、IIoT设备状态和信道增益)，针对这一特性，强化学习(Reinforcement Learning，RL)已经成为一种有前景的解决方案。RL通过与动态环境进行交互来学习最佳策略，而无需关于环境动态的先验知识。然而，传统的RL算法仅适用于具有完全可观察、低维状态空间的环境，而真实的IIoT环境通常具有高维、连续状态空间，并且难以从IIoT环境中提取所有的有用特征。幸运的是，深度强化学习(Deep Reinforcement Learning，DRL)集成了深度神经网络(Deep NeuralNetwork，DNN)强大的特征提取能力以及RL强大的决策能力，具体来说，DRL利用DNN模型来逼近RL中的策略函数和值函数，能够从大型高维、连续状态空间中学习到最佳策略，因此，DRL适用于真实的IIoT环境。