[发明专利]基于混合神经网络的分布式系统构建方法、设备及介质

说明书

本发明涉及一种基于混合神经网络的分布式系统构建方法、设备及介质，该方法在终端设备上部署经过压缩优化后的深度神经网络，在云服务器设备上部署原始的深度神经网络，若所述终端设备上压缩优化后的深度神经网络输出检测结果满足置信度的标准即可直接输出结果；若终端设备结果不能满足要求，则所述终端设备将处理后的初始特征样本传至云服务器，由所述运服务器的原始深度神经网络进一步处理后输出结果。与现有技术相比，本发明具有在资源受限的嵌入式环境中快速完成特征提取的推理运算等优点。

技术领域

本发明涉及一种分布式系统构建方法，尤其是涉及一种基于混合神经网络的分布式系统构建方法、设备及介质。

背景技术

在众多人工智能技术中，深度神经网络(DNN)是一种通过模拟人脑神经网络实现类人工智能的机器学习技术。鉴于其具有高效的数据特征提取与分析能力，其现已被广泛应用在计算机视觉、自然语言处理、无人驾驶、智能家居等相关的领域或行业，影响着人们的日常生活。

深度神经网络的本质是通过模拟人脑神经，组合低层特征形成更加抽象的高层特征，从而分析出数据所表达的信息。构建一个DNN主要分为两个阶段：训练阶段与推测阶段。训练阶段需要网络模型先基于大量训练数据进行调整网络模型中的权重等信息。推理运算阶段直接利用训练完成的网络模型对数据进行分析，该阶段无需存储训练数据和进行反向传播操作。

目前的主流深度学习框架的模型训练和推理计算均是在云端/服务器端进行，而在资源受限、强调实时性的终端/嵌入式端环境中的深度学习计算引擎的实现还在发展中。另一方面，在终端侧实时性强的人工智能展现出强大的需求，需要基于深度神经网络模型，在本地终端环境中运行的人工智能推理运算，以满足在资源受限、实时性约束等终端条件下的图像目标分类与识别等任务需求。为了解决上述问题，从简化网络模型的角度设计了压缩优化方法，降低网络模型对终端设备的硬件资源需求。

尽管利用模型的优化可以在嵌入式终端设备上部署深度神经网络，但在终端设备上深度学习系统仍面临着两难的境地。要么终端设备采集数据，传至云上的大型深度神经网络模型进行处理，因此提高了通信成本，带来了延迟问题和隐私问题；要么直接在终端执行的深度神经网络模型必须进行大幅的压缩删减，因此丧失了系统精度。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于混合神经网络的分布式系统构建方法、设备及介质。

本发明的目的可以通过以下技术方案来实现：

根据本发明的第一方面，提供了一种基于混合神经网络的分布式系统构建方法，该方法在终端设备上部署经过压缩优化后的深度神经网络，在云服务器设备上部署原始的深度神经网络，若所述终端设备上压缩优化后的深度神经网络输出检测结果满足置信度的标准即可直接输出结果；若终端设备结果不能满足要求，则所述终端设备将处理后的初始特征样本传至云服务器，由所述运服务器的原始深度神经网络进一步处理后输出结果。

作为优选的技术方案，该方法具体包括以下步骤：

步骤1)对训练好的深度神经网络进行网络模型压缩和权重调整的简化处理；

步骤2)在资源受限的终端设备中部署采用压缩优化的深度神经网络；

步骤3)在资源丰富的云服务器中部署原始的深度神经网络；

步骤4)在终端设备的本地深度神经网络上设置出口点；

步骤5)所述终端设备首先向本地压缩优化的深度神经网络发送采样数据并进行快速推理运算；

步骤6)所述终端设备确定本地深度神经网络的推理结果基于置信度的标准是否能够做出准确的分类；

步骤7)如果是，则对样本进行分类，并直接在终端设备上完成处理；