[发明专利]一种基于深度学习预测神经网络训练时长的方法

权利要求书

1.一种基于深度学习预测神经网络训练时长的方法，其特征在于，所述方法包括以下步骤：

(1)结合神经网络训练过程的计算组成和神经网络的层次性结构特征，构建以单层网络训练时长为基本单位的完整网络训练时长的计算模型；分析影响单层网络训练时长的模型特征；

所述训练过程的计算组成指神经网络正向传播和反向传播计算过程，层次性结构特征是指神经网络结构上以层次为基本单位，整体网络的运算通过层次运算传递得到；所述模型特征指单层网络的超参数设置；

(2)分析模型特征和训练时长的关系，设计多层感知机模型用以提取模型特征对神经网络训练时长的影响；

其中，所述多层感知机模型以下简称为权重模型，所述模型特征对神经网络训练时长的影响简称为特征权重；

(3)利用权重模型提取特征权重，根据特征权重的大小排名构建能够衡量模型特征对训练时长总体影响力的评价指标，基于评价指标设计降维规则实现模型特征降维，使用降维处理后的模型特征训练深度学习模型用以预测单层神经网络训练时长；

所述评价指标包括对特征权重总体排名的评价和对特征权重排名总体波动程度的评价；为方便称呼，所述用以预测单层神经网络训练时长的深度学习模型以下简称为时间预测模型。

2.根据权利要求1所述的一种基于深度学习预测神经网络训练时长的方法，其特征在于：步骤(1)中所述以单层网络训练时长为基本单位的完整网络训练时长的计算模型通过以下两个步骤建立：

(1)结合Batch Normalization技术，完整神经网络的一次训练由一个batch的正向传播计算和1次反向传播计算组成，并多次迭代该过程；完整网络一次训练的耗时为基本单位的训练时长计算模型可构建为：

其中，T表示神经网络训练时长，E为训练的epoch个数，n为训练集的数据量，B为batch的大小，x_i为当前batch中第i条训练数据，t_forward表示一次前向传播的耗时，t_backward表示一次反向传播的耗时；

(2)结合神经网络层次性结构特征，前向传播和后向传播的计算可由多个层级计算组成，进一步细化计算模型得到以单层网络训练时长为基本单位的计算模型：

m为神经网络层数，x_i为训练数据，表示第l层前向传播计算耗时，表示第l层反向传播计算耗时。

3.根据权利要求1所述的一种基于深度学习预测神经网络训练时长的方法，其特征在于：步骤(2)中所述模型特征和训练时长的关系可抽象为f(x)＝wx，其中，f(x)表示训练时长，x为模型特征，w代表特征对训练时长的影响，即特征权重；

步骤(2)中所述权重模型的输入为经过标准化处理后的模型特征数据，输出为预测的单层模型训练时长，每层神经元通过ReLu激活后输出；权重模型中隐含层的最后一层神经元的个数与输入层相同，且其输出与输入层数据对应位相乘并加和，经过ReLu激活后输出，构成f(x)＝wx形式。

4.根据权利要求1所述的一种基于深度学习预测神经网络训练时长的方法，其特征在于：步骤(3)中所述衡量模型特征对训练时长总体影响力的评价指标为特征权重的平均排名MeanRank和排名的平均标准差MeanRankStd；根据MeanRank和MeanRankStd所设计的降维规则可表示为：

Θ＝{j|MeanRankStd(j)＞s∪MeanRank(j)＜r，j∈F}

Θ表示选取的对神经网络训练时长影响较大的关键特征的集合，F为特征集合，j表示特征集合的第j个特征，s和r表示常数，需要根据MeanRankStd和MeanRank的值设定。

5.根据权利要求1所述的一种基于深度学习预测神经网络训练时长的方法，其特征在于：步骤(3)中所述时间预测模型的结构相对于权重模型只去除了隐含层最后一层和输入层点乘的部分，其余层次设置与权重模型一致。