[发明专利]基于深度学习的大数据系统配置参数调优的方法和系统

权利要求书

1.一种基于深度学习的大数据系统配置参数调优的方法，其特征在于，包括神经网络训练步骤与配置参数预测步骤；其中，

所述神经网络训练步骤包括以下步骤：

步骤1-1、初步构建深度神经网络，其中以至少一个映射规约参数作为输入参数，以待预测出最优配置参数作为输出参数，以大数据系统的历史数据作为训练样本集；

步骤1-2、以映射规约时间作为该深度神经网络的衡量标准，基于反向传播思想的参数学习规则对每层神经元的权值进行调整，直至映射规约时间满足时间成本要求；

所述配置参数预测步骤包括以下步骤：

步骤2-1、设定所述至少一个映射规约参数的初始值，并读取当前测试数据；

步骤2-2、将所述至少一个映射规约参数的初始值和当前测试数据输入到经由神经网络训练步骤得到的深度神经网络中，得到用于基于深度学习的大数据系统的配置参数；

所述步骤1-1中：

构建以映射规约参数为输入参数的五层深度神经网络，以待预测出最优配置参数作为输出参数，所述五层网络分别包括输入层、输出层和三个隐层，输入训练样本x，隐层输出为y＝x^l＝f(u^l)，其中u^l＝W^lx^l-1+b^l，函数f代表输出激活函数，W代表权值，b代表偏置项，l表示第l 层；

所述步骤1-2中：

使用平方误差代价函数来衡量误差，假定输出参数类别为c，训练样本集中共N个训练样本，则映射规约时间与规定时间成本t之间的误差E^N为：其中，为第n个训练样本的目标输出的第k维，为第n个样本对应的实际输出的第k维；

计算各层网络之间的误差，当误差小于预设阈值时保存该深度神经网络，否则通过神经元的灵敏度δ来对每层神经元的权值W进行缩放：

其中，且第l层的灵敏度：输出层的神经元的灵敏度为：其中L表示总层数，yⁿ为第n个神经元的实际输出，tⁿ为第n个神经元的目标输出，符号表示卷积。

2.根据权利要求1所述的基于深度学习的大数据系统配置参数调优的方法，其特征在于，所述至少一个映射规约参数的数量为2～20个。

3.一种基于深度学习的大数据系统配置参数调优的系统，其特征在于，包括神经网络训练模块与配置参数预测模块；其中，

所述神经网络训练模块用于初步构建深度神经网络，其中以至少一个映射规约参数作为输入参数，以待预测出最优配置参数作为输出参数，以大数据系统的历史数据作为训练样本集；并以映射规约时间作为该深度神经网络的衡量标准，基于反向传播思想的参数学习规则对每层神经元的权值进行调整，直至映射规约时间满足时间成本要求；

所述配置参数预测模块用于将设定的所述至少一个映射规约参数的初始值和当前测试数据输入到经由神经网络训练步骤得到的深度神经网络中，得到用于基于深度学习的大数据系统的配置参数；

其中，所述神经网络训练模块用于构建以映射规约参数为输入参数的五层深度神经网络，以待预测出最优配置参数作为输出参数，所述五层网络分别包括输入层、输出层和三个隐层，输入训练样本x，隐层输出为x^l＝f(u^l)，其中u^l＝W^lx^l-1+b^l，其中，函数f代表输出激活函数，W代表权值，b代表偏置项，l表示第l层；

所述神经网络训练模块使用平方误差代价函数来衡量误差，假定输出参数类别为c，训练样本集中共N个训练样本，则映射规约时间与规定时间成本t之间的误差E^N为：其中，为第n个训练样本的目标输出的第k维，为第n个样本对应的实际输出的第k维；

计算各层网络之间的误差，当误差小于预设阈值时保存该深度神经网络，否则通过神经元的灵敏度δ来对每层神经元的权值W进行缩放：

其中，且第l层的灵敏度：输出层的神经元的灵敏度为：其中L表示总层数，yⁿ为第n个神经元的实际输出，tⁿ为第n个神经元的目标输出，符号表示卷积。

4.根据权利要求3所述的基于深度学习的大数据系统配置参数调优的系统，其特征在于，所述至少一个映射规约参数的数量为2～20个。