[发明专利]一种基于强化学习的车联网云计算资源优化方法

说明书

本发明公开了一种基于强化学习的车联网云计算资源优化方法，具体为：将车联网系统资源分配问题建模为半马尔可夫决策过程SMDP，引入资源预留策略和资源二次分配机制；利用强化学习来求解该模型。本发明使系统获得车联网资源分配最佳方案，提高了资源利用率、系统QoS和用户QoE。

技术领域

本发明属于车联网优化应用领域，具体涉及一种基于强化学习的车联网云计算资源优化方法。

背景技术

随着物联网的迅速发展，其在工业领域的作用也越发突出。工业物联网(IIoT)作为工业领域的重要应用之一，旨在工业环境中收集和处理数据，以实现智能操作，例如工业监控，自动化和自动控制等。在IIoT中，需要以及时、可靠和高效的方式收集和处理从各种设备收集的数据。为了满足IIoT的严格要求，先进的通信和计算技术有望发挥重要作用。但是，IIoT仍面临许多待解决的技术难题，比如，工业环境本身表现出高度的随机性和动态性，使得传统的技术无法适应现在的工业环境。在这样一个高度复杂且动态的系统中，人工智能(AI)拥有解决上述挑战的巨大潜力。通过自主学习的方式，智能地管理和控制IIoT系统来完成高效的决策。

Gao等人基于卷积神经网络和图像上采样理论，提出了一种用于自动驾驶的视觉和光检测与测距(LIDAR)融合的对象分类方法。Shi等人为移动机器人提出了一种端到端导航方案，该方案基于深度强化学习(DRL)可以将通过模拟训练的智能体直接扩展到实际场景以进行实际应用。Aazam等人为IIoT设计了一个新颖的架构，利用雾计算为IIoT环境提供本地计算支持。

车联网作为IIoT的一个重要应用场景，有非常重要的意义，而车联网中资源的有效管理是一个待解决的问题。而虚拟化技术可以促进计算、通信和存储资源的管理。而辅以虚拟化技术的由各种车载单元、路边单元和远程云服务器组成的车辆云，使资源可以统一调配，提高车联网资源利用效率。因此，如何智能、高效的进行资源分配对于车联网的正常运行至关重要。Ning等人通过联合使用许可的蜂窝频谱和未许可的频谱，为基于5G的车载网络构建了一个智能卸载框架。Sodhro等人针对移动设备资源受限的问题，提出一种智能资源调控技术FCDAA(forward central dynamic and available approach)。Liang等人利用多智能体强化学习算法给出车联网中V2V、V2I频谱共享方法。Ramon等人从理论和实践两方面研究了基于SDN的车联网资源管理问题。Yu等人提出了一种基于博弈论的云资源分配方案，实现基于云的车载网络中有效的资源管理。Zhao等人提出了一种基于纳什博弈的分层资源分配方案。根据时分复用机制将原始问题转换为两个子问题：功率分配和时隙分配。实现VANET公平有效的频谱资源分配。He等人提出了一个用于网络、缓存和计算资源的动态编排统一框架。将统一框架中的资源分配问题转化为一个联合优化问题。针对联合优化问题的高复杂性，提出了一种深度强化学习方法，提高系统性能。

尽管文献中有很多关于车辆云资源优化分配的著作，但没有将系统的收入、成本、车辆云系统的QoS和车辆用户的QoE联合考虑，来实现车辆云系统的最大系统长期收益。这激励我们提出了一种基于半马尔可夫决策过程(SMDP)的自适应车辆云/雾资源分配模型。并且上述文献都假设服务在整个运行期间所占用的资源是不变的，没有考虑根据资源的使用情况进行资源的二次分配(SAoR)，提高资源利用效率，提升系统QoS和车辆用户的QoE。为了提高重要服务请求的QoE，本文借鉴了通信中为提升呼叫切换成功率而专门预留保护信道的方法，专门为重要服务请求预留部分资源。

然而，由于移动终端受到计算，电量等物理资源的限制，需要将业务卸载到距离较近的边缘服务器中。移动边缘计算(Mobile Edge Computing)正是这种趋势下的产物。移动边缘计算通过将计算资源尽量部署在靠近移动设备的网络边缘，拉近了移动终端和服务器的物理距离，降低了传输延迟，分担了集群化服务器的超负荷的压力，提高可靠性并且计算方式更加灵活。