[发明专利]基于拆分-融合策略的分布式深度神经网络结构转换方法

说明书

基于拆分‑融合策略的分布式深度神经网络结构转换方法，采集图片，组成数据集，并将数据集分为训练集和测试集，对训练集和测试集中的图片进行预处理；对网络模型进行通道拆分，扩充网络模型宽度，然后再添加融合层，得到改进后的网络模型；采用训练集中的图片对改进后的网络模型进行训练后，将预处理之后的测试集中的图片输入到训练后的网络模型中，得到图片分类结果。本发明针对分布式推理的场景对已有的用于图片分类任务的网络模型进行改进，转换之后的网络模型可以在资源受限的分布式系统中实现较快的推理速度，即可以在资源受限的分布式系统中执行图片分类任务，并较快地得到分类结果，并且图片具有更高的分类精度。

技术领域

本发明属于人工智能技术领域，涉及一种基于拆分-融合策略的分布式深度神经网络结构转换方法，可以将现有的图像分类的网络模型转换为适用于分布式系统的网络模型，以在资源受限的分布式系统上执行图像分类任务，也可用于目标检测、语义分割等其他计算机视觉任务中。

背景技术

卷积神经网络目前已经成为了图片分类任务的主流方法，在CIFAR10、ImageNet等多个图片分类数据集中取得了当前最佳的精度。为了能使该技术得到更广泛的应用，将网络模型部署到嵌入式和移动设备等硬件中是必须的。但主流的卷积神经网络模型通常十分巨大，如VGG16的参数量高达138M，现有的硬件根本无法推理如此大的网络。针对这些硬件，一些轻量化的网络结构被通过手工设计或自动结构搜索的方法提出，如mobilenet系列，shufflenet系列，ghostnet,proxylessnas等，这些轻量化的网络模型以深度卷积(depthwise convolution)为核心操作，在保持参数量和计算量相对较少的同时，仍然能够达到较高的精度，因而受到了人们的青睐。

但是，这些网络模型都是针对单个硬件设计的，随着物联网(IoT)技术的迅猛发展，边缘计算成为了最近的一个研究热点和难点，在分布式系统中部署网络模型逐渐成为了一个广泛的需求，与在单个硬件上部署网络相比，在分布式系统中部署网络模型更加地困难，主要的原因有两点：(1)一个分布式系统通常包含很多边缘设备，单个边缘节点的计算能力通常非常弱，甚至连一个轻量化网络模型的推理都无法完成。(2)不同边缘节点之间的通信会产生额外的开销。

理论上说，直接将网络模型部署到分布式系统中，令不同的边缘节点推理不同的通道，是完全可以实现的。但是这种做法会带来巨大的通信开销，并严重拖慢系统的推理速度。这些额外的通信开销是由网络模型中的标准卷积(Standard convolution)层带来的，标准卷积的计算特性决定了其每一个输出通道都依赖于所有的输入通道，因此在推理每一个标准卷积层时，分布式系统的任意两个节点之间都需要通信。

为了避免额外的通信开销，可以将网络模型中的卷积层全部转换成组卷积，令不同的节点推理不同的组，这样做每个节点所有的输出通道只依赖于该节点的输入通道，不同节点之间不再需要任何的通信。但是这样做会带来新的问题。在整个前向推理的过程中，网络模型中不同的组之间没有信息交流，即出现了“信息阻塞”现象，严重地影响网络的精度。

现有的分布式推理方案(Deepthings,Fully Deepthings)的并行策略是对网络模型中每一层的特征图进行了分割，令不同的节点推理特征图的不同区域，但是这种策略在分布式系统上执行卷积神经网络的图片分类任务的推理时，仍然会带来很大的额外开销(通信开销或计算开销)，该部分额外开销会严重地拉长推理时间(得到分类结果所需的时间)，对需要快速得到分类结果的场合影响巨大。

现有技术中对图片分类存在精度低的问题。

发明内容

为克服现有技术中的问题，本发明的目的是提供一种基于拆分-融合策略的分布式深度神经网络模型转换方法。

为实现上述方法，本发明采用的技术方案如下：

基于拆分-融合策略的分布式深度神经网络结构转换方法，包括以下步骤：