[发明专利]一种面向机器人的云边端架构下的深度学习模型分割方法

说明书

本发明提供了面向机器人的云边端架构下的深度学习模型分割方法，属于深度学习以及分布式计算领域。该方法首先将深度学习模型建模为一个有向无环图，有向无环图的节点代表深度学习模型层，节点之间的边代表深度学习模型层间的数据传输。其次，根据模型层分别在云边端上的处理时间为节点赋值，根据模型层间数据分别在云边、边端、云端之间的传输时间为节点之间的边赋值。进而，采用一个有向无环图最长距离算法对图中的节点进行分层，并逐层处理节点。对于一层中的每个节点，根据节点的输入边权重和节点权重，采用启发式策略，进行动态分割，并将分割后的深度学习模型分配给云边端计算设备，从而实现无精度损失的云边端分布式协同推理。

技术领域

本发明涉及深度学习以及分布式计算领域，具体涉及一种面向机器人的云边端架构下的深度学习模型分割方法。

背景技术

在现代计算机应用中，深度学习模型被广泛应用于机器视觉、自然语言处理、数据挖掘等多个领域。但深度学习模型需要大量的算力，单个机器很难在规定时间内完成深度学习模型的推理过程以满足服务级别协议；此外，随着大数据时代，5G时代相继到来，计算机应用的数据量成几何级数增长，由云计算主导的云端协同框架也难以满足数据处理的需求，以致数据在终端积累，在传输过程中阻塞，在云端处理后慢回传等问题。由于边缘计算中的云边端协同计算范式使得终端算力上移，云端算力下沉，因此云边端协同计算范式逐渐被业界普遍采用。自边缘计算概念被提出以降，现代计算架构逐渐由云计算向边缘计算云边端架构迁移。

深度学习模型的云边端协同处理也逐渐成为焦点，现有的深度学习模型云边端协同处理方法主要思想是将深度学习模型分割为两个部分，并将这两部分分别放置在云边端架构中的边侧和云侧。在计算机应用接收数据后，深度学习模型的第一部分处理该数据，将处理结果发送至深度学习模型的第二部分，并由第二部分处理后生成最终结果。然而现有技术存在如下问题：

1.当前技术没有充分利用端侧的算力，仅将深度学习模型分割为两个部分，当端侧生成数据后，数据被直接上传至边侧处理，并在边侧处理后将中间结果上传给云侧处理，产生最终结果。

2.现有方法无法做到根据深度学习模型层的处理时间和数据的传输时间将深度学习模型分割为三个部分。

3.当云边端设备出现算力改变，或当网络环境发生改变，进而影响深度学习模型处理时间，云边端之间数据传输时间时，当前技术需要对整个深度学习模型进行重新分割，耗时较长。

4.最新技术所提出的算法在分割深度学习模型时需要添加大量计算辅助单元，且该算法计算时间复杂度较高，为O(N³)。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向机器人的云边端架构下的深度学习模型分割方法。

本发明的目的是通过以下技术方案来实现的：一种面向机器人的云边端架构下的深度学习模型分割方法，包括以下步骤：

步骤一，在面向机器人的云边端架构场景下，将所述深度学习模型建模为有向无环图，其中所述有向无环图的节点表示深度学习模型层，所述有向无环图的边表示深度学习模型层之间的数据传输；获取深度学习模型层分别在云服务器、边缘设备以及机器人终端的处理时间，获取深度学习模型层之间的数据分别在云服务器和边缘设备之间、边缘设备和机器人终端之间以及云服务器和机器人终端之间的传输时间；

步骤二，将所述深度学习模型层分别在云服务器、边缘设备以及机器人终端的处理时间作为有向无环图中表示深度学习模型层的节点权重；将所述深度学习模型层之间的数据分别在云服务器和边缘设备之间、边缘设备和机器人终端之间以及云服务器和机器人终端之间的传输时间作为有向无环图中表示数据传输的边权重；

步骤三，在所述深度学习模型的数据输入端添加一个输入数据层，并在有向无环图中用一个输入节点表示；通过动态规划算法求解有向无环图中各节点到输入节点的最长距离，并根据所述最长距离将有向无环图中的节点分层；