[发明专利]基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法

说明书

本发明公开了基于Q‑learning的工业互联网机器设备用户数据计算卸载决策方法，通过构造小区内用户计算卸载的网络模型、时延模型、能耗模型和经济开销模型，并根据小区内用户数，设置Q‑learning模型中的环境状态、卸载动作和奖励函数，从而依据Q‑learning迭代学习后所获得的Q表执行卸载动作，获得最优的卸载策略，完成小区内用户计算任务的分配处理。本发明克服了传统数据计算卸载系统无法应对复杂多变的网络环境和服务器状态以及局限于对单一开销优化等问题。仿真实验表明，本发明提出的基于Q‑learning的工业互联网设备用户数据计算卸载决策方法在减少用户总体和局部计算卸载开销方面具有一定的优势。

技术领域

本发明涉及一种基于Q-learning的工业互联网设备用户数据计算卸载决策方法，通过Q-learning算法，设计一种有利于降低工业互联网中的机器设备系统开销的决策方案，属于数据计算与执行决策的相关领域。

背景技术

当前，第五代(the fifth generation,5G)移动通信网络技术已经从概念逐渐步入商用，并将对智能生活产生重大而深远的意义，5G的普及将为各类以网络为支撑的移动互联网应用带来广阔的发展前景和机遇。与此同时，5G高速率、低时延、广连接的特点也将会为用户提供更优质、更高效的服务，从而满足用户不同的网络需求和服务质量(qualityof service,QoS)。

与传统的无线通信网络相比，网络中包含有数量庞大的机器类型通信设备(machine-type communication devices,MTCDs)将是5G网络场景中最显著的特征。作为工业互联网(Industrial Internet)的重要载体，多功能、多种类、多QoS需求的MTCD将成为5G网络中的重要组成部分，它们在承载、提供各种网络应用的同时，也将带来海量的网络资源占用、数据计算与传输以及系统能耗开销等。与此同时，5G的网络通信成本也是一个不可忽视的问题。面对5G等数据网络可能产生高昂的使用费用，WiFi仍是网络接入的重要选择之一。在大量机器类通信设备网络接入的背景下，网络连接的成本问题也成为需要考虑的因素之一。

为应对工业互联网机器设备计算能力有限、网络拥塞等问题，移动边缘计算(mobile edge computing,MEC)技术在5G与工业互联网场景中将扮演重要的角色。移动边缘计算可实现在网络边缘为用户提供计算服务，其服务器的计算能力远大于机器设备。同时，相比于传统的云计算，移动边缘计算虽在计算能力方面稍显不足，但可大幅度减少网络传输时延，并有效缓解网络拥塞等问题，也降低了网络负载开销。

然而，在一定范围内，工业互联网机器设备数量极其庞大，当这些设备同时发送计算服务请求时，将超出MEC服务器的计算负载。另一方面，由于地理位置的限制，一些偏远位置的机器设备不易更换电池，导致此类设备自身能量有限，无法承受计算能耗过大的任务，存在大量计算任务卸载到其他数据计算服务器协助执行的需求。并且，庞大的设备数量决定了网络连接以及计算成本也是必然要考虑的要素。因此，在不超出MEC服务器负载的前提下，以尽可能小的能耗、经济等开销处理工业互联网机器设备产生的计算任务，成为当下的热门研究问题。针对以上问题，北京交通大学的Li等人主要研究了工业互联网场景中云计算与移动边缘计算协作的计算卸载策略，提出一种节能型计算卸载和资源分配框架，可有效减少系统能耗达到50％。西安电子科技大学的Guo等人针对工业互联网机器设备计算密集型与计算资源受限相冲突的问题，提出了一种基于博弈论的联合计算卸载框架，实现MEC和Cloud的合作卸载，可使机器设备充分利用分布式MEC服务器和中心云服务器的计算资源，有效减少运行成本和能耗。然而，传统方法在应对工业互联网机器设备计算卸载的问题时还存在一些局限性，例如，无法适应复杂多变的网络环境以及无法支持工业互联网庞大的设备数量。