[发明专利]一种基于正则表达式的电力大数据采集、存储及分析方法

说明书

一种基于正则表达式的电力大数据采集、存储及分析方法，其特征在于，所述方法包括：(1)电力信息大数据采集；(2)多级存储技术；(3)电力市场大数据主成分分析方法；电力市场大数据主成分分析方法采用基于主成分分析的多元回归方法建立售电量事务信息模型。为了实现电力交易业务的数据增值服务，研究挖掘电力市场大数据价值的方法和技术，提取电力交易中心的交易业务大数据，分析典型应用场景，利用数据集成管理、数据存储、数据计算、分析挖掘等技术，实现面向典型业务场景的模式创新及应用提升。

技术领域

本发明属于电力信息大数据信息挖掘与分析领域。涉及一种多级存储的电力信息大数据的分析方法，解决电力信息大数据分析的问题。

背景技术

随着数据库应用的规模、范围不断地扩大，电力管理部门及相关企业利用计算机管理事务能力的增强，产生了庞大的大规模数据集，将如此庞大的数据集采集并存储到服务器上是非常复杂的。原本很多数据采集算法在数据集规模较小时尚能取得不错的采集效果，但是针对大规模数据集，计算量太大以至于不能在可接受的时间内获得很好的结果。

在以往的工业生产、商业服务领域，传统的数据挖掘分析算法可以处理小规模的数据集，也能取得较好的执行效率，获得较高的挖掘质量。但在当前的大数据时代，处理大规模数据的过程遇到了难题。随着一体化电网规划设计平台的建设推进，业务应用数据正以前所未有的速度增长，大数据时代正式到来。电力大数据分析技术在最近两年开始成为研究热点，但主要集中在电力生产领域，如电力调度、电力负荷预测、电网资源配置、电网信息监测等。当前，大数据分析技术依然停留在传统的数据分析方法层面，比如，数据挖掘技术在市场交易行为的分析，研究大多集中在交易行为的模型和方法改进方面。而对基于分布式数据仓库(Hive)的电力市场大数据挖掘(分布式电力数据挖掘)方法和技术(电力数据分布式挖掘算法)的研究，在国内属于空白领域，即将成为热点研究方向，有待深入开展此领域的研究。

由于电力信息的激增，数据库的应用规模和范围不断扩大，产生了庞大的大规模数据集。通过对大数据内涵和外延的深入理解，需要结合电力市场交易的数据现状和业务需求，为了更好的分析大数据集，研究并提出了基于电力信息大数据采集及多级存储的挖掘方法及技术。本研究以正则表达式方法采集文本数据集，应用多级存储方法，以文件形式将数据集存储在分布式文件系统HDFS中。基于主成分分析的多元回归方法建立售电量事务信息模型，能够有效分析电力市场大数据的耦合关系。为了实现电力交易业务的数据增值服务，研究挖掘电力市场大数据价值的方法和技术，提取电力交易中心的交易业务大数据，分析典型应用场景，利用数据集成管理、数据存储、数据计算、分析挖掘等方面核心关键技术，实现面向典型业务场景的模式创新及应用提升。电力市场大数据的分析应用将推动电网的业务发展和管理水平提升，有效支撑电网有限公司的三集五大两中心深入建设。

发明内容

为了实现电力交易和数据增值服务，需要多种挖掘电力市场大数据价值的方法和技术。面对数据量的激增，很多以往处理非大数据的算法遇到了瓶颈，这些算法的运行时间不能与大数据量的规模呈线性关系，很多情况下，这些算法在挖掘大规模数据集时不能在多项式时间内获得高质量的挖掘结果，甚至受制于计算机的内存空间，算法不能正常的运行，必须借助于云计算的大数据挖掘技术。对此庞大的数据集进行分析，可以提高电力负荷预测的准确性，能够指导电力营销的方向，促进区域电力消费的经济发展。

本发明的技术方案如下：

1、基于正则表达式的信息采集技术