[发明专利]基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法

权利要求书

1.基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法，其特点在于：在某个通信小区中，存在N个用户、M个WiFi节点和1个部署了MEC服务器的基站，当已知小区内用户数、WiFi节点数和优化目标后，根据实际情况配置网络模型、时延模型、能耗模型和经济开销模型中的环境参数，并构造Q-learning中的状态、卸载动作和奖励函数，随后依据优化目标设置权值参数进行Q-learning迭代，学习到不同网络和服务器环境下用户计算任务的最佳处理方式，获得相应优化目标的Q表，最后根据优化目标选择对应的训练完成的Q表，以此为指导执行最优策略，从而达到此环境下用户计算任务处理的最低总开销，具体依次按以下步骤实现：

步骤(1)，系统初始化，根据实际情况有：

小区内包含有N个有卸载需求的用户，用户每隔时间t产生计算任务，且任务的数据量为d，复杂度为c，小区内还存在1个部署了MEC服务器的基站，和M个WiFi节点供连接，MEC服务器的最大负载为L，用户从移动网络获得的带宽和传输功率分别为B_b和p_b，从WiFi网络获得的带宽和传输功率分别为B_w和p_w；

步骤(2)，根据用户计算卸载的网络模型、时延模型、能耗模型和经济开销模型，结合实际情况，设置各模型中的参数，并计算在卸载过程中每种卸载决策产生的时延、能耗和经济开销；

步骤(3)，根据步骤(2)中构造完成的网络模型、时延模型、能耗模型和经济开销模型，并结合优化场景，设置Q-learning中的状态、动作和奖励函数；

步骤(4)，根据优化目标和权值参数范围设置权值参数，若进行全局优化，权值参数W_d、W_e、W_m均设为若进行补偿优化，补偿目标的权值参数设为0.8，其余权值参数均设为0.1；0≤W_d≤1、0≤W_e≤1、0≤W_m≤1、W_d+W_e+W_m＝1；

步骤(5)，根据步骤(4)中设置的权值参数和Q-learning迭代公式，训练不同优化目标的Q表，Q表是一张负责记录Q-learning中状态-动作值简称Q值的表格，其结构如下：

其中，(a₁,a₂...a_m...a_M)为所有可选择的卸载动作，(s₁,s₂...s_n...s_N)为所有可能出现的状态，Q(s₁,a₁)表示在状态s₁下执行动作a₁的数值，在初始状态下，Q表中的Q值均为0，当系统执行卸载动作时，致使环境跳变至下一状态，并从环境中获得奖励，随后将根据获得的即时奖励和跳变状态对Q值进行数值迭代，其迭代公式表示为：

Q(s,a)←Q(s,a)+α[r+γmaxQ(s’,a’)-Q(s,a)]

其中，Q(s,a)表示在状态s下做动作a时的Q值；α为学习效率，影响Q表的更新速度；r为即时奖励，γ为奖励延迟，maxQ(s’,a’)表示下一状态中可选动作中的最大Q值；

步骤(6)，根据不同的优化目标选择步骤(5)中对应的训练完成的Q表，并按照选定Q表执行该场景下的最优卸载策略，在按照Q表执行策略时，系统将会选择每个状态下Q值最大的动作作为该状态下的最优动作，直至执行指令结束；

步骤(2) 的实施过程如下，

步骤(2.1)，当用户数为m时，计算用户与基站间的网络传输速率r_b和用户与WiFi节点间的网络传输速r_w率，分别表示为：

其中，h_b和h_w分别为移动网络和WiFi网络的信道增益，N_b和N_w分别为移动网络和WiFi网络中噪声的功率谱密度；

步骤(2.2)，分别计算用户在本地处理任务和卸载处理任务产生的时延，当用户选择在本地处理任务时，任务时延D_l表示为：

F_l为用户本地CPU的计算速度；

当用户选择卸载处理任务时，分为通过移动网络/WiFi网络上传任务至MEC服务器/云服务器，任务时延分别表示为：

其中，F_l为用户本地CPU的计算速度，F_o^m为MEC服务器的计算速度，为云服务器的计算速度，t_c任务上传至云服务器的额外等待时间，为用户连接基站上传任务至MEC服务器处理产生的时延，为用户连接基站上传任务至云服务器处理产生的时延，为用户连接WiFi节点上传任务至MEC服务器处理产生的时延，为用户连接WiFi节点上传任务至云服务器处理产生的时延；

步骤(2.3)，分别计算用户在本地处理任务和卸载处理任务产生的能耗，当用户选择在本地处理任务时，总能耗E_l表示为：

E_l＝z_n·c

其中，z_n为CPU每轮处理过程消耗的能量，z_n表示为：

z_n＝10^-27·(F_l)²

当用户择卸载处理任务时，分为通过移动网络/WiFi网络上传任务至MEC服务器/云服务器，其总能耗分别表示为：

其中，p_s为用户待机时延；为用户连接基站上传任务至MEC服务器处理产生的能耗，为用户连接基站上传任务至云服务器处理产生的能耗，为用户连接WiFi节点上传任务至MEC服务器处理产生的能耗，为用户连接WiFi节点上传任务至云服务器处理产生的能耗；

步骤(2.4)，分别计算用户在本地处理任务和卸载处理任务产生的经济开销，当用户选择在本地处理任务时，其经济开销M_l为0，当用户选择卸载任务时，分为通过移动网络/WiFi网络上传任务至MEC服务器/云服务器，其经济开销分别表示为：

其中，M_b为运营商收取的单位移动数据流量费用，为MEC服务器收取的单位数据量存储费用，为MEC服务器收取的单位计算费用，为云服务器收取的单位数据量存储费用，是云服务器收取的单位计算费用，为用户连接基站上传任务至MEC服务器处理产生的经济开销，为用户连接基站上传任务至云服务器处理产生的经济开销，为用户连接WiFi节点上传任务至MEC服务器处理产生的经济开销，为用户连接WiFi节点上传任务至云服务器处理产生的经济开销；

步骤(3) 的实施过程如下，

步骤(3.1)，根据小区内用户数，设置状态集合：

其中，为用户n与选定WiFi节点间的网络传输速率，为用户n与基站间的网络传输速率，L为MEC服务器的计算资源占有情况；

步骤(3.2)，根据小区内用户数，设置动作集合：

其中，表示用户n的任务是否上传，表示用户n与WiFi节点或是基站连接，表示用户n的计算任务上传至MEC服务器或是云服务器进行处理；

步骤(3.3)，根据步骤(2)中网络模型、时延模型、能耗模型和经济开销模型，获得每一时刻小区内用户任务处理的总开销，分为任务本地处理总开销和通过移动网络/WiFi上传任务至MEC服务器/云服务器的总开销，分别表示为：

A_l＝W_d·D_l+W_e·E_l+W_m·M_l

其中，W_d、W_e、W_m分别为用户处理任务时对应于时延、能耗和经济开销的权值，且服从0≤W_d≤1、0≤W_e≤1、0≤W_m≤1和W_d+W_e+W_m＝1，A_l为用户在本地处理任务产生的加权总开销，为用户连接基站上传任务至MEC服务器处理产生的加权总开，为用户连接基站上传任务至云服务器处理产生的加权总开销，为用户连接WiFi节点上传任务至MEC服务器处理产生的加权总开销，为用户连接WiFi节点上传任务至云服务器处理产生的加权总开销；

奖励函数r_t表示为：

其中，A_local(t)为时刻t下所有用户任务都置于本地处理的总开销，A(s_t,a_t)为时刻t时状态s_t下做出动作a_t产生的总开销。