[发明专利]一种优化的模型并行的缺陷物资预测方法

说明书

本发明公开了一种优化的模型并行的缺陷物资预测方法，包括，基于Spark框架搭建分布式框架；分别在分布式框架的每个从节点上训练一个机器学习模型；将训练完成的机器学习模型分别保存到对应的节点，获得缺陷物资预测模型；利用缺陷物资预测模型对缺陷物资进行预测；本发明通过模型并行的架构，实现多模型的并行训练，提高训练模型的速度，以及提高预测速度；同时通过多模型并行训练，提高了缺陷物资预测精度。

技术领域

本发明涉及物资需求预测的技术领域，尤其涉及一种优化的模型并行的缺陷物资预测方法。

背景技术

电网系统的平稳健康运行，对人民生产生活非常重要。但是电网系统太过庞大，设备也不可能一直完好无损的运行。极端天气、突发情况以及设备老化等都可能导致电网故障。

对于电网的设备物资而言，主要有三类：日常设备物资、应急设备物资和重大灾害缺陷物资。本发明主要针对的是应急设备物资。当设备发生故障时，就需要在各地仓库备有以进行更换来保证电网的正常运行。但是各地仓库应该每类物资应该采购多少，才能既不缺物资，又不会过度仓储，就成了一个值得研究的问题。

但是电网系统中，不同的区域、不同的物资数据分布很不一样，如图1所示。以修文县的真实数据分布为例，本体、复合绝缘子和金具本体的分布不一样。同时可以看到，数据的分布没有很强的规律性。因此，要实现对电网层次化的缺陷物资的精准预测，不可能实现一个模型适应于所有的缺陷物资。同时考虑到电网的传感器数据是海量的，那么单机就比较难实现高效的预测，甚至不能完成预测任务。目前大数据技术虽然已经很成熟，但还是有一些不足。当前的高性能并行计算，主要分为两类：数据并行和模型并行。数据并行是将数据划分到各个从服务器上训练模型。模型并行会把模型进行划分分区，分配到不同的机器分别运行(按功能，层次)，因为参数间存在依赖关系，需要调度器。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种优化的模型并行的缺陷物资预测方法，能够解决现有技术的预测性能不高的问题。

为解决上述技术问题，本发明提供如下技术方案：包括，基于Spark框架搭建分布式框架；分别在分布式框架的每个从节点上训练一个机器学习模型；将训练完成的机器学习模型分别保存到对应的从节点，获得缺陷物资预测模型；利用所述缺陷物资预测模型对缺陷物资进行预测。

作为本发明所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：所述分布式框架包括一个主节点和多个从节点。

作为本发明所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：所述机器学习模型包括，线性回归模型、Lasso回归模型、岭回归模型、负反馈神经网络模型、梯度提升树和极端梯度提升模型。

作为本发明所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：训练所述机器学习模型包括，根据目标公式对优化目标进行求解，完成所述机器学习模型的训练；而后利用机器学习模型预测所述缺陷物资，分别获得预测值所述目标公式如下：

其中，n_samples为样本数，w为向量在样本各个维度的权重系数，X为样本数据，y为物资缺陷的量，α、β为正则系数，||w||₁、||w||₂分别为系数的一阶范数、二阶范数。

作为本发明所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：所述预测值包括，

θ∈R^N,x∈R^N