[发明专利]一种工业互联网边缘服务缓存决策方法及系统

说明书

本发明涉及工业互联网技术领域，具体涉及一种工业互联网边缘服务缓存决策方法及系统；本发明实施例中的工业互联网边缘服务缓存决策方法通过基于深度元强化学习的服务缓存方法，将深度学习的感知能力、强化学习的决策能力和元学习的快速环境学习能力相结合，融合后的框架可以从动态环境中快速灵活地获得最优的缓存策略。其对应的系统也具体同样的技术效果。

技术领域

本发明涉及工业互联网技术领域，具体而言，涉及一种工业互联网边缘服务缓存决策方法及系统。

背景技术

工业互联网通过整合5G通信、人工智能等先进技术,将各类具有感知、控制能力的传感器与控制器融入工业生产过程,来优化产品生产工艺,降低成本,提高生产率。传统的云计算模式由于集中式部署的特点,计算节点通常离智能终端较远,难以满足工业领域对高实时性、低延迟的需求。边缘计算通过将计算、存储与网络等资源下沉到工业网络边缘,可以更加便捷地响应设备请求,满足工业互联网环境下智能接入、实时通信、隐私保护等关键需求,实现智能绿色通信。

边缘服务缓存是边缘计算在实际应用中的一个关键问题。由于每个网络边缘服务器提供给用户的各种资源(如带宽资源、计算资源等)是固定且有限的，仅有少数种类的服务请求能够同时被边缘节点提供并运行。合理的移动边缘缓存策略能够有效地改善整个网络的性能，提高服务质量。

近年来，出现了大量针对于边缘计算缓存问题的研究。有学者提出基于内容流行度的缓存决定策略等算法，即根据用户对某种特定内容的偏好来进行内容缓存，在基站中优先缓存拥有更高用户请求概率的内容，能够有效地提高用户的体验质量。或者采用基于学习的边缘缓存策略，基于机器学习或者深度学习技术，根据大量的用户历史数据，让机器去学习并预测用户的偏好度或是网络中内容流行度的变化趋势，并根据学习的结果去调整缓存策略。

现有技术中主要是针对于移动边缘计算缓存问题的研究。但大多数的工作主要集中在根据移动边缘计算网络的新特性，在传统网络上的一些缓存策略进行改进。也有一部分的工作在探索新的缓存方案，如基于用户偏好、基于学习或者多边缘节点协作的缓存策略。但是因为内容流行度、用户的偏好度是随着时间不断改变的，并且是无法预知的。同时，面对快速变化的工业应用场景，每次环境发生变化时，我们都不得不通过重新计算来重新调整服务的缓存决策，否则会产生较高的服务延迟和成本。虽然通过引入深度学习、强化学习等智能算法，在边缘缓存决策方面取得了一些良好的效果，但仍存在学习速度慢、模型环境变化时原始网络参数失效等挑战。现有技术存在不足。

发明内容

本发明实施例为了解决上述至少一个技术问题，提供了一种工业互联网边缘服务缓存决策方法及系统，通过深度元强化学习的求解最优的边缘服务缓存策略，以达到最小化服务访问时延的目的。

根据本发明的一实施例，提供了一种工业互联网边缘服务缓存决策方法，包括以下步骤：

S1.基于服务访问时延对工业互联网系统进行数学建模,建立系统模型；

S2.基于系统模型建立达到最小化的服务访问时延的优化目标；

S3.基于深度确定性策略梯度算法构建能够实现所述优化目标的深度元强化学习框架；

所述工业互联网系统包括多个设备、多个边缘服务器和一个云服务器；所述设备通过所述边缘服务器连接到云服务器；多个所述边缘服务器之间彼此通信连接。

本发明还提供一种采用如上述任意一项方法的工业互联网边缘服务缓存决策系统，包括：数学建模模块、目标建立模块和服务缓存决策模块；

所述数学建模模块基于服务访问时延对工业互联网系统进行数学建模,建立系统模型；

所述目标建立模块基于系统模型建立达到最小化的服务访问时延的优化目标；

所述服务缓存决策模块基于深度确定性策略梯度算法构建能够实现所述优化目标的深度元强化学习框架；