[发明专利]基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法

摘要

本发明公开了基于Q‑learning的工业互联网机器设备用户数据计算卸载决策方法，通过构造小区内用户计算卸载的网络模型、时延模型、能耗模型和经济开销模型，并根据小区内用户数，设置Q‑learning模型中的环境状态、卸载动作和奖励函数，从而依据Q‑learning迭代学习后所获得的Q表执行卸载动作，获得最优的卸载策略，完成小区内用户计算任务的分配处理。本发明克服了传统数据计算卸载系统无法应对复杂多变的网络环境和服务器状态以及局限于对单一开销优化等问题。仿真实验表明，本发明提出的基于Q‑learning的工业互联网设备用户数据计算卸载决策方法在减少用户总体和局部计算卸载开销方面具有一定的优势。

主权项

1.基于Q‑learning的工业互联网机器设备用户数据计算卸载决策方法，其特点在于：在某个通信小区中，存在N个用户、M个WiFi节点和1个部署了MEC服务器的基站，当已知小区内用户数、WiFi节点数和优化目标后，根据实际情况配置网络模型、时延模型、能耗模型和经济开销模型中的环境参数，并构造Q‑learning中的状态、卸载动作和奖励函数，随后依据优化目标设置权值参数进行Q‑learning迭代，学习到不同网络和服务器环境下用户计算任务的最佳处理方式，获得相应优化目标的Q表，最后根据优化目标选择对应的训练完成的Q表，以此为指导执行最优策略，从而达到此环境下用户计算任务处理的最低总开销，具体依次按以下步骤实现：步骤(1)，系统初始化，根据实际情况有：小区内包含有N个有卸载需求的用户，用户每隔时间t产生计算任务，且任务的数据量为d，复杂度为c，小区内还存在1个部署了MEC服务器的基站，和M个WiFi节点供连接，MEC服务器的最大负载为L，用户从移动网络获得的带宽和传输功率分别为B_b和p_b，从WiFi网络获得的带宽和传输功率分别为B_w和p_w；步骤(2)，根据用户计算卸载的网络模型、时延模型、能耗模型和经济开销模型，结合实际情况，设置各模型中的参数，并计算在卸载过程中每种卸载决策产生的时延、能耗和经济开销；步骤(3)，根据步骤(2)中构造完成的网络模型、时延模型、能耗模型和经济开销模型，并结合优化场景，设置Q‑learning中的状态、动作和奖励函数；步骤(4)，根据优化目标和权值参数范围设置权值参数，若进行全局优化，权值参数W_d、W_e、W_m均设为若进行补偿优化，补偿目标的权值参数设为0.8，其余权值参数均设为0.1；0≤W_d≤1、0≤W_e≤1、0≤W_m≤1、W_d+W_e+W_m＝1；步骤(5)，根据步骤(4)中设置的权值参数和Q‑learning迭代公式，训练不同优化目标的Q表，Q表是一张负责记录Q‑learning中状态‑动作值(简称Q值)的表格，其结构如下：Q表其中，(a₁,a₂...a_m...a_M)为所有可选择的卸载动作，(s₁,s₂...s_n...s_N)为所有可能出现的状态，Q(s₁,a₁)表示在状态s₁下执行动作a₁的数值，在初始状态下，Q表中的Q值均为0，当系统执行卸载动作时，致使环境跳变至下一状态，并从环境中获得奖励，随后将根据获得的即时奖励和跳变状态对Q值进行数值迭代，其迭代公式表示为：Q(s,a)←Q(s,a)+α[r+γmaxQ(s’,a’)‑Q(s,a)]其中，Q(s,a)表示在状态s下做动作a时的Q值；α为学习效率，影响Q表的更新速度；r为即时奖励，γ为奖励延迟，maxQ(s’,a’)表示下一状态中可选动作中的最大Q值；步骤(6)，根据不同的优化目标选择步骤(5)中对应的训练完成的Q表，并按照选定Q表执行该场景下的最优卸载策略，在按照Q表执行策略时，系统将会选择每个状态下Q值最大的动作作为该状态下的最优动作，直至执行指令结束。