[发明专利]工业物联网任务卸载方法、系统、设备及存储介质

权利要求书

1.一种工业物联网任务卸载方法，其特征在于，包括：

响应于工业物联网设备发出的任务卸载请求，获取所述工业物联网的应用任务；

利用PASD模型，根据所述应用任务确定卸载操作；所述卸载操作中包含有卸载决策和资源分配决策；所述卸载决策中含有所述应用任务的执行方；所述执行方包括：工业物联网设备、边缘服务器和云服务器；

将所述卸载操作发送至所述工业物联网设备，以指示所述工业物联网设备将所述应用任务卸载至所述卸载决策中的执行方，并指示所述卸载决策中的执行方根据所述资源分配决策分配相应资源以执行所述应用任务；

其中，所述PASD模型中包含有竞争深度Q网络Dueling DQN模型，所述Dueling DQN模型输出的Q值所对应的奖励为任务平均完成时间和系统总能耗的加权和的负值，所述Q值为所述Dueling DQN模型执行卸载操作所对应的动作价值；所述PASD模型输出最大Q值所对应的卸载操作作为确定的卸载操作。

2.根据权利要求1所述的工业物联网任务卸载方法，其特征在于，

所述PASD模型中包含有优先经验回放池，用于存储所述PASD模型输出的卸载操作，以更新训练样本供所述PASD模型强化学习。

3.根据权利要求2所述的工业物联网任务卸载方法，其特征在于，所述利用PASD模型，根据所述应用任务确定卸载操作，包括：

响应于所述应用任务，感知当前时隙的系统环境状态；系统环境状态包括工业物联网设备的计算资源信息，边缘服务器的计算资源信息，云服务器的计算资源信息以及无线信道剩余带宽资源信息；

所述PASD模型基于当前时隙的系统环境状态确定卸载操作。

4.根据权利要求3所述的工业物联网任务卸载方法，其特征在于，所述利用PASD模型，根据所述应用任务确定卸载操作之后，还包括：

基于所述卸载操作生成执行所述卸载操作所对应的奖励，以及下一时隙的系统环境状态；

将当前时隙的系统环境状态、卸载操作、奖励和下一时隙的系统环境状态存储至所述优先经验回放池，以供所述PASD模型强化学习。

5.根据权利要求4所述的工业物联网任务卸载方法，其特征在于，所述将当前时隙的系统环境状态、卸载操作、奖励和下一时隙的系统环境状态存储至所述优先经验回放池，包括：

将当前时隙的系统环境状态、卸载操作、奖励和下一时隙的系统环境状态作为一个训练数据数组，并对所述训练数据数组赋予采样概率后，存储至所述优先经验回放池。

6.根据权利要求5所述的工业物联网任务卸载方法，其特征在于，所述对所述训练数据数组赋予采样概率，包括：

根据以下公式计算所述训练数据数组的采样概率并将所述采样概率赋予所述训练数据数组：

其中，表示卸载操作的采样概率；表示所述Dueling DQN模型在当前时隙的系统环境状态下执行卸载操作的动作价值Q值，表示当前时隙的系统环境状态；A表示卸载操作集合中的元素个数；表示卸载操作的优先级，

7.根据权利要求5或6所述的工业物联网任务卸载方法，其特征在于，所述对所述训练数据数组赋予采样概率之后，还包括：

利用重要抽样法纠正所述训练数据数组的优先级。

8.根据权利要求7所述的工业物联网任务卸载方法，其特征在于，所述利用重要抽样法纠正所述训练数据数组的优先级，包括：

按照以下公式更新所述训练数据数组的优先级：

其中，表示卸载操作的采样概率；表示卸载操作的优先级，K表示所述优先经验回放池中的训练数据数组的数量；σ表示重要抽样法对学习过程的影响系数，当σ＝1时，则重要抽样完全补偿不均匀的采样概率。