[发明专利]一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法

权利要求书

1.一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，其特征在于，包括以下步骤：

S1：选择多个算法模型，构建分布式算法所需数据的测试集和训练集；

具体是：确定使用的分布式算法的数量N,算法模型记作M,对每个特定的算法，记作M_n，n∈N；将可用的数据集D复制N份，得到所有的数据集D_N；对每一个数据集，应用到特定的算法n∈N,记作D_n；定义一个清洗采样方案集合F,每个方案f定义不同的随机函数，采样频率，采样分布，采样策略，使得f∈F，将一份数据集分成2个部分，训练集和测试集即

S2：根据步骤S1的训练集和确定的预处理方案，构建预处理训练数据集；

具体的，对每个算法，设计预处理方案集合P,对于应用到特定算法n的预处理方案P_n，n∈N,分别对数据集进行预处理,得到最终用于训练的数据集具体公式如下:

对特定的预处理方案P_n其方案是在线的数据预处理方案或离线的数据预处理方案；

S3：构建一种提升神经网络推理准确性的子模型训练方法，具体是指根据预处理训练数据集，采用通用的神经网络模型创建面向多神经网络推理模型的分布式计算系统设计方法，并利用Sequeeze4激活函数和SharpLoss损失函数进行子模型的训练；

所述的激活函数定义如下：

其中，x表示输入的待激活的向量或者矩阵中的元素；

损失函数定义如下：

S4：针对分布式的运算结构，根据计算容器通信机制整合子模型的输出，创建一种通用的保持运算速度的分布式训练方法，构建分布式计算整体系统的新特征；

其中计算容器通信机制的构建指的是将每个算法容器的计算，包装成WebService并且能利用默认参数兼容超时请求的计算容器通信机制；

一种通用的保持运算速度的分布式训练方法是指根据分布结构化设计采样方案和预处理方案，构建多模型的样本对和可用于输入深度神经网络的监督学习“特征-目标”数据对；

分布式计算整体系统的新特征指的是根据整合之前的每一个子模型的输出结果，通过One-Hot编码得到不同指标的最高索引，作为分布式系统的新特征；

S5：根据深度神经网络，构建系统的决策单元，整理步骤S4的返回值作为决策单元的输入，根据RandomShut方法对决策单元进行训练，最终得到通用的分布式计算系统；

根据RandomShut方法对决策单元进行训练，其过程为：

在训练中，按照50％的概率，决定是否使用RandomShut；

当确定使用RandomShut之后，使用一次随机数，以平均分布随机数，决定多少RandomShut的强度，即关闭的模型输入的个数T；即随机数的上限是也就是说，RandomShut的取值范围为

当选择了需要关闭的模型数量，再次采用平均分布的随机函数，对N个模型进行采样，选择T个模型进行关闭操作；这些模型记作

对于每一个被选中的模型M_t；t∈T,将这个模型的输出结果清除； 方法为U_t＝-1，B_t＝{xmin＝0，ymin＝0，xmax＝1，ymax＝1}； 同时，在计算U_mean，B_mean，U_var，B_var时，不将U_t，B_t引入计算；

S6：构建异常情况下系统的输出文件的格式，在测试集上进行分布式模型的验证，得到预测结果。

2.根据权利要求1所述的一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，其特征在于：在S5所述的决策单元的构建指的是以整合得到的最新属性为输入，以最终的判定结果为输出的深度神经网络。