[发明专利]一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法

说明书

本发明公开了一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，该方法的步骤包括：首先，构建分布式数据测试集和训练集，将训练集进行预处理；其次，训练和整合多个通用神经网络推理的子模型和输出，计算分布式系统的所需新特征向量或特征矩阵；然后，根据计算容器通信机制，计算每个子模型的推理结果；最后，根据简单的神经网络构建的决策单元，利用RandomShut方法对决策单元进行模型的训练，得到最终的模型。本发明利用通用的多模型分布式计算系统和训练方案提升推理结果的精度，降低单一神经网络的尺寸压力，减少系统的计算时间，使得训练更具针对性，广泛适用于各种应用场景。

技术领域

本发明属于深度学习以及分布式学习领域，具体设计一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法。

背景技术

深度学习神经网络，作为目前非常流行的人工智能算法解决方案，方便了人们很多的工作、生活场景，已经产生了巨大的商业价值。比如，智能客服，图像识别，信用评估等。在这些成功的应用背后，作为支撑的是一些强大的，专用的神经网络。以图像识别任务为例，图像识别与检测已经衍生出了大量的神经网络，如：VGG，ResNet,DenseNet,Yolo等。这些神经网络都可以实现优异的推理。然而，由于当前的深度学习和机器学习的技术局限性，单一的网络仍然会做出一些相对低端，且人们不能理解的错误。如果希望通过一个神经网络获得准确的结果，从目前的网络设计上来说，有两个局限：1.网络尺寸在变化趋势上将越来越大，所消耗的算力也将越来越大。2.需要的数据多样性和复杂性上也将持续的上升。而即满足了这两个方向的需求，网络也可能只能提高不足1％的准确率。这成为使用单一网络实现更准确的机器学习推理的障碍。同时，说明在实际应用场景，继续使用单一网络对有更高准确性要求的应用是不可靠的。企业目前很难部署一个特别大的网络作为实际应用，而且大网络的准确性也并不能一定表现出优出色的性能。此外，传统的分布式系统机器学习网络，主要采用手动、或者简单的统计学方法，收集分布式节点的输出，来实现整合。这种方法并不合理，产生的结果也不好。本发明将采取一个新的设计思路，通过分布式的网络方案，采用多个网络(或者子模型)对同一个目标进行推理，再通过一个深度神经网络对推理结果的置信判断，得到最终的结果。该设计一方面减小了单一网络的尺寸压力；另一个方面，通过分布式的方法，在大幅提升精度的同时，没有明显的增加实际网络的推理时间。最后，着重介绍对这个系统的训练方法，同时兼顾实际应用场景的挑战，使得训练更加具有针对性。

本方案会结合目标检测的例子，具体说明本项设计。特别地，所描述的目标检测的算法模型，在实际的应用场景下是可以替换的。本文借助实际的例子，来说明该结构设计的可靠性，具体的目标检测任务是文字范围识别。

发明内容

本发明提供了一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，通过分布式的方案，采用多个神经网络子模型对同一目标进行推理实现精度的大幅提升，再利用一个简单的深度神经网络对推理结果的置信判断和提供的一种分布式多个子模型的系统训练方法，兼顾实际应用场景的挑战，使得训练更加具有针对性，适用于实际的应用场景。

本发明提供了一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，其特征在于，包括以下步骤：

S1：选择多个算法模型，构建分布式算法所需数据的测试集和训练集；

S2：根据步骤S1的训练集和确定的预处理方案，构建预处理训练数据集；

S3：构建一种提升神经网络推理准确性的子模型训练方法，并利用Sequeeze4激活函数和SharpLoss损失函数进行子模型的训练；

S4：针对分布式的运算结构，根据计算容器通信机制整合子模型的输出，创建一种通用的保持运算速度的分布式训练方法，构建分布式计算整体系统的新特征；