[发明专利]一种基于Spark大数据平台的铝电解过热度预测方法

权利要求书

1.一种基于Spark大数据平台的铝电解过热度预测方法，其特征在于，包括步骤：

数据加载阶段：输入需要构建样本的数据集，数据集包括设定电压、槽电压、槽电流、槽电阻、过滤电阻、平滑电阻、设定最高电压、设定最低电压、效应等待间隔、针振、摆动、电阻变化斜率、电阻总变化斜率、基准下料间隔及实际下料间隔参数，将其转换成Spark平台的分布式数据集RDD，并且完成初始化操作；

样本集构建阶段：对每个分布式数据集RDD，使用处理时间维度样本时常用的滑窗法进行特征提取，得到样本数据集YRDD，使用过热度计算公式对每个样本进行打标；对于每个YRDD，如果正反例样本数量不平衡，则对YRDD进行过采样操作使样本数平衡；将过采样操作后的YRDD合成一个总样本数据集ZRDD作为样本集；

模型训练阶段：将样本集划分为训练集和测试集，将过热度作为标签，其他作为特征，使用Xgboost分类算法对训练集进行训练得到分类器；

过热度预测阶段：使用得到的分类器对测试集进行分类，得到分类结果并保存模型；用户读取存放在关系型数据库或数据仓库中的原始数据，去除掉无关属性，保留与模型相关的测量值和人为设定值，作为输入，调用得到模型的预测标签，完成过热度预测。可修改人为设定值进行重复预测直至满足用户需要。

2.根据权利要求1所述的一种基于Spark大数据平台的铝电解过热度预测方法，其特征在于，所述数据加载阶段将数据集转换成Spark平台的分布式数据集RDD，并且完成初始化操作，具体包括：

首先创建一个SparkContext对象，SparkContext是Spark的入口，负责连接Spark集群、创建RDD、累积量和广播量；

然后调用它的parallelize(DataSet)或textFile(DataSetURL)函数创建分布式数据集RDD，一旦创建完成，这个分布式数据集就可以被并行操作；即，RDD＝sc.textFile(DataSetURL)。

3.根据权利要求1所述的一种基于Spark大数据平台的铝电解过热度预测方法，其特征在于，所述样本集构建阶段得到样本数据集YRDD具体包括：遍历RDD中的每条数据，找到该数据前9条数据，将每3条数据分为1组，算出每组数据中每个测量属性的均值、方差、最大值作为特征集；算出每组数据中每个测量属性均值与前一组数据对应均值的变化值绝对值和变化率作为特征集；

对于RDD中每条数据中的设定电压、设定最大电压、设定最小电压、效应等待间隔属性，将其作为特征，算出设定电压、设定最大电压、设定最小电压与实际电压均值的变化率和变化值绝对值，作为特征；算出设定电压、设定最大电压、设定最小电压与前9天每一天的对应值的变化率和变化值绝对值，作为特征，将得到的所有特征合起来，得到若干个样本数据集YRDD。

4.根据权利要求3所述的一种基于Spark大数据平台的铝电解过热度预测方法，其特征在于，找到每个YRDD中每个样本a在RDD中对应位置的样本b，找到b中的电解质温度T和分子比F两个属性，根据过热度计算公式算出样本a的过热度，过热度计算公式为SHD＝T_b-T_liq，其中T_b表示电解槽温度；T_liq表示初晶温度，公式为T_liq＝35MR+846，其中MR表示分子比，T_b和MR均可通过测量获得，如果算出的SHD过热度大于等于25则认为是高过热度，标签为1；反之则认为是低过热度，标签为0。

对于每个YRDD，如果正反例样本数量不为或不近似为1:1，则对YRDD进行smote过采样操作,随机因子为1到10之间的随机数,临近样本数为5，使样本数比例为1:1，将操作后的所有YRDD合成一个ZRDD作为总样本集。