[发明专利]基于深度学习的大数据系统配置参数调优的方法和系统

摘要

本发明提供了一种基于深度学习的大数据系统配置参数调优的方法及系统，其中方法包括神经网络训练步骤，初步构建深度神经网络，以至少一个映射规约参数作为输入参数，以待预测出最优配置参数作为输出参数，以大数据系统的历史数据作为训练样本集；再以映射规约时间作为该深度神经网络的衡量标准，基于反向传播思想的参数学习规则对每层神经元的权值进行调整，直至映射规约时间满足时间成本要求；配置参数预测步骤，设定至少一个映射规约参数的初始值，并读取当前测试数据，输入到经由神经网络训练步骤得到的深度神经网络中，得到配置参数。本发明通过深度神经网络对映射规约框架中的配置参数进行调优，避免了人工调节，且预测的参数应用效果好。

主权项

一种基于深度学习的大数据系统配置参数调优的方法，其特征在于，包括神经网络训练步骤与配置参数预测步骤；其中，所述神经网络训练步骤包括以下步骤：步骤1‑1、初步构建深度神经网络，其中以至少一个映射规约参数作为输入参数，以待预测出最优配置参数作为输出参数，以大数据系统的历史数据作为训练样本集；步骤1‑2、以映射规约时间作为该深度神经网络的衡量标准，基于反向传播思想的参数学习规则对每层神经元的权值进行调整，直至映射规约时间满足时间成本要求；所述配置参数预测步骤包括以下步骤：步骤2‑1、设定所述至少一个映射规约参数的初始值，并读取当前测试数据；步骤2‑2、将所述至少一个映射规约参数的初始值和当前测试数据输入到经由神经网络训练步骤得到的深度神经网络中，得到用于基于深度学习的大数据系统的配置参数；所述步骤1‑1中：构建以映射规约参数为输入参数的五层深度神经网络，以待预测出最优配置参数作为输出参数，所述五层网络分别包括输入层、输出层和三个隐层，输入训练样本x，隐层输出为y＝xl＝f(ul)，其中ul＝Wlxl‑1+bl，函数f代表输出激活函数，W代表权值，b代表偏置项，l表示第l 层；所述步骤1‑2中：使用平方误差代价函数来衡量误差，假定输出参数类别为c，训练样本集中共N个训练样本，则映射规约时间与规定时间成本t之间的误差EN为：其中，为第n个训练样本的目标输出的第k维，为第n个样本对应的实际输出的第k维；计算各层网络之间的误差，当误差小于预设阈值时保存该深度神经网络，否则通过神经元的灵敏度δ来对每层神经元的权值W进行缩放：其中，且第l层的灵敏度：输出层的神经元的灵敏度为：其中L表示总层数，yn为第n个神经元的实际输出，tn为第n个神经元的目标输出，符号表示卷积。