[发明专利]一种并行程序的集合通信函数建模方法

摘要

一种并行程序的集合通信函数建模方法，本发明涉及并行程序的集合通信函数建模方法。本发明的目的是为了解决现有技术对通信时间数据获取不准确、耗费大量时间金钱的缺点。一种并行程序的集合通信函数建模方法具体过程为：步骤一、在实验平台下测量集合通信函数N次，获得集合通信函数在不同的并行度和数据量下的通信时间数据；步骤二、用基于BP反向传播算法的人工神经网络对集合通讯函数在不同的并行度和数据量下的通信时间数据进行拟合，得到相应的通信函数的神经网络模型。本发明用于通信技术领域。

主权项

1.一种并行程序的集合通信函数建模方法，其特征在于：一种并行程序的集合通信函数建模方法具体过程为：步骤一、在实验平台下测量集合通信函数N次，获得集合通信函数在不同的并行度和数据量下的通信时间数据；所述N取值范围为1000‑10000；步骤二、用基于BP反向传播算法的人工神经网络对集合通信函数在不同的并行度和数据量下的通信时间数据进行拟合，得到相应的通信函数的神经网络模型；所述步骤二中用基于BP反向传播算法的人工神经网络对集合通信函数在不同的并行度和数据量下的通信时间数据进行拟合，得到相应的通信函数的神经网络模型；具体过程为：步骤二一、数据预处理；步骤二二、激活函数的选择；步骤二三、根据步骤二一和步骤二二利用BP反向传播算法进行权重和阈值的更新；所述步骤二一中数据预处理；具体过程为：集合通信函数在不同的并行度和数据量下的通信时间数据是在某一并行度下，变化数据量测量的通信时间或者是在某个数据量下，变化并行度测量的通信时间；将集合通信函数在不同的并行度和数据量下的通信时间数据传到网络训练之前需要先打乱不同的并行度和数据量下的通信时间数据；对不同的并行度和数据量下的通信时间数据进行归一化，归一化公式如下：max、min分别指某一维数据中的最大值、最小值，经过归一化，人工神经网络的输入特征的范围为(0,1)；x′为归一化后的某一维数据，x为归一化前的某一维数据；所述某一维为并行度、数据量或通信时间；所述步骤二二中激活函数的选择；具体过程为：选择Relu激活函数，Relu激活函数形式为：f(z)＝max(0,z)式中，z为Relu激活函数输入值，Relu激活函数梯度为1，并且只有一端饱和；所述步骤二三中根据步骤二一和步骤二二利用BP反向传播算法进行权重和阈值的更新；具体步骤如下：(1)用表示第几层，其范围为表示神经网络模型的最终输出层；逐层计算的激活值，最终得到神经网络模型的输出结果，表示为h_W,b(x)，为正整数；(2)当为第层时，对层的所有神经元中的某一神经元i，首先根据误差公式获得误差；利用误差对第层的第i个神经元的输入加权和求偏导：式中，W为权向量，b为阈值，q是通信函数在不同的并行度和数据量下的通信时间数据中的样本数量，0为正整数；是第层的第i个神经元的输入加权和，其中表示第层第j个神经元与第层第i个神经元之间的权重值，为第层的第j个神经元的前向输出值；表示第层的第i个神经元的前向输出值；w_ij∈W；为第层的神经元个数，为正整数；为正整数；第层的神经元个数，为正整数；r_i为真实值；y_i为神经网络模型的输出值；残差表示层的神经元对最终输出值产生的影响；表示神经元的激活函数；(3)当中任一层时，第层的第i个节点的残差计算方法为式中，为第层的神经元个数，为正整数；为第层权向量；残差表示层的该神经元对最终输出值产生的影响；(4)计算权值和阈值更新需要的偏导数，即式中，为第层的第j个神经元的前向输出值；为神经网络模型第层的第i个神经元阈值；在误差公式后面加上L2正则项其中，w表示正则项的参数λ是正则项系数，q是样本数量；L2为高斯先验；对J(W,b)求偏导后，将改为引入动量因子ρ，更新权向量W和阈值b，具体公式表示为：式中，η为学习速率；为更新后的第层第j个神经元与第层第i个神经元之间的权向量；为更新前第层第j个神经元与第层第i个神经元之间的权向量；为第层第j个神经元与第层第i个神经元之间的权向量。