[发明专利]一种基于深度强化学习的任务卸载方法

说明书

本发明涉及无线通信技术领域，具体为一种移动边缘计算下基于深度强化学习的任务卸载方法，包括：根据移动用户到达的任务，建立一个队列模型来描述移动用户的任务卸载问题；根据任务卸载的目标服务器及任务量设定约束条件；在约束条件下，采用一种无模型的强化学习机制构建以最小化系统成本为目标的优化问题；利用深度强化学习DDPG进行求解最优卸载策略；根据本发明可以实现在不知道信道状态信息的情形下，通过探索和训练来自适应调整MEC系统的任务卸载策略，实现系统的卸载成本最小化，提升用户体验。

技术领域

本发明涉及无线通信技术领域，特别涉及一种基于深度强化学习的任务卸载方法。

背景技术

近年来，随着移动互联网和物联网(Internet of Things,IoT)的快速发展和融合，使数据流量和终端设备连接量呈指数式增加。据预测，全球移动数据流量与第四代移动通信(The Fourth Generation Mobile Communication,4G)相比增长了1000倍。面对如此大的挑战，未来无线网络需要足够的通信容量去承载和处理海量的无线设备连接和高速的数据传输。与此同时，随着4K/8K视频、虚拟现实(Virtual Reality,VR)/增强现实(Augmneted Realityz,AR)、工业物联网、车联网等新兴业务的涌现，第五代移动通信技术(The Fifth Generation Mobile Communication,5G)正在由今天的人互联网、物联网向万物互联演进，由此产生了未来通信系统的普遍性和包容性。这使得移动边缘计算(MobileEdge Computing,MEC)作为一种新兴和有前景的计算范式应运而生，将计算和存储资源部署网络边缘，有效提升了用户业务体验。

目前，越来越多的新兴移动用于受益于MEC技术。但是海量多元化设备接入物联网，使得数据量越来越大，对资源的要求越来越高，仅仅依靠单一的蜂窝网络接入方式提供服务使得资源的分配过程越来越复杂。目前，异构网络(Heterogeneous Networks，HetNets)密集化的部署方案是增强室内和边缘网络的覆盖范围的有效技术，因此在异构无线环境下通过MEC对网络资源分配是一种新的方法，一方面可以利用异构网络的多样性为移动用户提供更多的服务选择，另一方面可以为移动用户提供足够大的网络容量，实现低延迟的服务以及满意的用户体验。

但是现有的异构无线网络环境下MEC网络在确定任务卸载中没有考虑到任务卸载环境的复杂性，即请求任务的信息和网络状态往往都是动态变化的，这种动态特性会影响任务分配的成功率和效率；因此急需一种具有自适应性任务卸载策略，使得基于异构MEC网络中请求任务信息以及网络状态信息能够根据变化实时调整任务分配调度，使异构无线环境下的MEC系统能够工作在最佳的状态的方法。

发明内容

为解决以上现有技术问题，本发明提出了一种基于深度强化学习的任务卸载方法，该方法包括：根据获取的用户信息构建任务队列模型，根据任务队列模型得到用户的卸载任务量；设定任务卸载约束条件，根据任务卸载约束条件判断是否执行任务卸载以及卸载到本地或者卸载到基站；采用有限状态马尔可夫模型模确定系统的无线信道，通过信道的信噪比表征信道状态，根据信道状态确定任务卸载的传输成本；根据卸载的任务构建任务卸载系统模型，通过务卸载系统模型确定最小化系统成本的优化问题；采用DDPG模型求解最优的任务卸载及计算资源分配策略。

优选的，任务队列模型为：

优选的，设定的卸载约束条件包括：

优选的，通过信道的信噪比表征信道状态的过程包括：