[发明专利]电力大数据预处理的属性约简方法

说明书

技术领域

本发明涉及一种基于偏序的电力大数据属性约简方法，属电力技术领域。

背景技术

随着智能电网建设和物联网技术在电力行业中的广泛应用，电力数据的体量以爆炸性的速度增长。为了从这些海量数据中挖掘出对电网管控起决定性作用的信息，就需要对这些海量数据进行层层筛选，但这类操作需要耗费大量的时间；行之有效的方法就是对这些海量数据进行预处理，而属性约简是其中的一个重要环节，现有的启发式属性约简算法，诸如基于正区域的、基于边界域的及基于信息熵的算法都是粗糙集算法的延伸，这些算法通过计算得到属性核，再把其余属性按照重要程度从高到低的顺序依次添加到属性核中。传统的启发式约简算法在处理小数据集时效率显著，但由于其处理方式是将要处理的数据集一次性装入内存，随着数据规模的增大，出现了内存瓶颈问题，导致算法的效率严重下降，而且，其在约简过程中要删除一些重要性比较低的属性，容易造成决策表的部分有价值信息丢失。有的学者将上述这些启发式算法应用在MapReduce框架下，虽然克服了内存瓶颈问题，算法的效率有所提升，但依旧存在决策表有价值信息易丢失的问题。传统的基于遗传算法的约简方法，又由于遗传算法本身的复杂度，导致约简的效率偏低，即使将其应用在MapReduce框架下，虽然在处理大规模数据集时具有可行性，但算法的效率依旧没有得到很好的改善。

总之，现有的约简算法存在着效率偏低、容易丢失信息等不足，而电力系统的运行、监测信息具有显著的并行性，传统约简方法不能完全解决电力大数据属性约简的预处理问题，急需寻找新的适应并行化处理的约简方法。

发明内容

本发明的目的在于针对现有技术之弊端，提供一种效率高且能够确保电力数据集的原有信息不丢失的电力大数据预处理的属性约简方法。

本发明所述问题是以下述技术方案实现的：

一种电力大数据预处理的属性约简方法，所述方法首先将电力系统中的属性视作变迁关系，属性值作为在相应变迁关系作用下的转换状态；然后把在某一顺序变迁关系组的转换下到达相同终止状态的一些变迁序列去掉中间的冗余状态，仅保留关键路径；最后将关键路径上的变迁关系解码为相应的属性输出。

上述电力大数据预处理的属性约简方法，所述方法包括以下步骤：

a.把电力大数据集看作一个由三元组S＝(U,A,V)表示的电力系统信息决策表，其中U作为论域，表示全体对象的有限非空集合；A＝C∪{D}，C是条件属性构成的集合，D是决策属性；V是属性a的值域，即V_a∈V，假设该决策表含有n个对象，每个对象又包括m个条件属性，一个决策属性D；

b.把电力大数据集根据其决策属性D的不同取值划分等价类，若决策属性D有k种不同取值则根据决策属性D的值划分等价类如下：

其中，表示第j个对象在第i个属性上的取值；

c.将上述的k个不同等价类内的数据集分别再进行划分，根据其数据量的大小依次划分为n₁,n₂,…,n_k个数据分片；

d.把步骤c划分好的各个数据分片内电力数据集中的每条记录视作一个对象，各属性视为变迁关系，各属性值看作在相应变迁关系作用下转换的中间状态，调用(n₁+n₂+…+n_k)台worker(集群中的计算机)，分别将各数据分片内数据集的各个对象在相应的worker中从初始状态O在各变迁关系的作用下朝着决策状态进行变换：

其中O_j表示第j个对象的初始状态且所有对象的初始状态量相同，表示第j个对象在变迁关系c_i的作用下转换到的相应中间状态，为初始状态O_j经各变迁关系c₁,c₂,…,c_n,D，变换之后的终止状态；

e.针对步骤c划分好的各个数据分片内电力数据集中的所有对象在步骤d所调用的相应worker中定义一个整型变量f，调用步骤d的状态转换程序，执行以下循环：

定义f值从1到i：

f.若步骤e中相应数据分片内的各个对象，从初始状态向决策状态转换的过程中存在多个对象都经过若干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历经的相同状态；

g.针对步骤f的处理结果，在相应worker中，把从相同状态量经同样的变迁关系转换之后又得到相同状态量的所有对象只保留一个；