[发明专利]一种DNN分区方法及采用该方法的边缘计算架构和存储介质

说明书

本发明涉及计算机应用技术领域，具体涉及一种DNN分区方法及采用该分区机制的边缘计算架构和存储介质。基于对一般化的DNN网络进行形式化定义，并给出对应的优化目标函数，用以设计动态的高效分区算法。同时，本发明基于DNN分区来减少边缘计算网络资源消耗。本发明对DNN的分区将DNN在一个适合的层次进行网络划分，将浅层网络放置于端设备，深层网络切分卸载到边缘服务器。这是一种分层的卸载决策机制，该机制有效地利用比设备速度更快的边缘服务器来实现推理任务的加速。采用该DNN分区机制的边缘计算架构和存储介质也具有同样的技术效果。

技术领域

本发明涉及计算机应用技术领域，具体而言，涉及一种DNN分区方法及采用该分区机制的边缘计算架构和存储介质及终端设备。

背景技术

作为一种先进的人工智能技术，深度强化学习(Deep Reinforcement Learning,DRL)在许多具有挑战性的现实问题中取得了巨大的成功。它被广泛地部署在不同的设备上，如智能车、智能手机、可穿戴设备、智能相机以及边缘网络中的其他智能对象。DRL集成深度神经网络(DNN)和强化学习算法，在边缘设备上实现智能决策与控制。然而，由于能量消耗、芯片尺寸、计算容量等固有的约束因素，边缘网络通常是由嵌入式设备组成的，而且边缘网络中的通信带宽往往也是有限的。为了解决这些问题，移动边缘计算(MEC)近年来得到了广泛的研究。鉴于DNN训练和推理对计算能力的要求很高，基于MEC解决方案进行资源高效、可扩展的DRL至关重要。

由于GPU和CPU的性能差距，通过带GPU的边缘服务器进行加速是一个很有前途的方法。例如，在GPU上执行同样的DNN推理任务，与CPU相比，处理时间不到十分之一。因此，目前的主流框架往往以CPU-GPU协作的方式支持大规模分布式DRL，如GA3C、DD-PPO、IMPALA、Seed-RL等。所有这些框架都将整个训练甚至整个推理放在GPU上进行加速，并保持与CPU上的环境交互。不幸的是，这些框架不是为边缘网络设计的，因为它们缺乏对有限的边缘资源的考虑。虽然将所有的任务迁移到边缘服务器是可行的，但它同样会带来巨大的通信代价，造成网络带宽和设备计算资源的浪费，使其难以扩展到大规模集群。

现有的DRL训练框架如IMPALA、Seed-RL等，通常将DNN训练看作一个整体，采用全部放到端设备(IMPALA)或者全部放到边缘服务器(Seed-RL)的方式进行计算。然而由于算力的限制，全部放到端设备的模式明显难以快速地实现模型收敛，计算效率低下；同时，由于DRL交互的环境需要运行在端设备上，全部放到边缘服务器的模式需要从端设备将所有观测数据上传，而受限于边缘网络的带宽，这会带来冗余的带宽浪费，并且边缘服务器会成为计算的瓶颈，难以大规模扩展。现有技术存在不足。

发明内容

为了兼容高计算效率和高可扩展性之间，本发明分析了DNN的网络结构，发现中间层的输出远小于原始的输入，同时大规模的运算往往发生在深层网络，所以本发明提出了一种新型的DRL训练框架，通过将浅层网络放置于端设备，深层网络切分卸载到边缘服务器的方法，实现了边缘网络的高效高可扩展性，且能动态适应资源变化。解决了以上的至少一个技术问题。

本发明实施例提供了一种DNN分区方法，包括以下步骤：

S1.根据DNN的每一层的计算类型和规模进行抽象，得到DNN的层次架构及总的层数；

S2.利用每秒浮点运算来表征设备和边缘服务器的浮点计算量和计算时间，结合DNN的层数来完成设备与边缘服务器基于DNN分区博弈的数学建模；

S3.以最小化所有设备的总响应时间为目标设计优化目标函数；

S4.基于DNN的分割层为所述设备设计效用函数；

S5.基于博弈论的建模方法，把每个设备看作独立的智能体，每个智能体的目标是通过选择分割层位置来最大化自身的效用函数。