[发明专利]一种实用于海量实时PMU数据的挖掘方法

说明书

本发明公开了一种实用于海量实时PMU数据的挖掘方法，先对数据量较小的PMU标识数据进行耗时的采样和挖掘表验证得到挖掘公式，随后对实时PMU数据流进行划分，通过轮转算法对各任务进行均衡分配，再结合挖掘公式采样挖掘，有运行时所占内存资源小，速度快，挖掘效果可随采样精度而提高的特点，对处理海量PMU数据具有良好的实时性和工程实用价值，同时本发明还解决了在PMU数据应用的相关领域因为数据规模庞大，多源，实时性强，分布式处理门槛高造成的数据接收与处理问题。

技术领域

本发明属于光通信技术领域，更为具体地讲，涉及一种实用于海量实时PMU数据的挖掘方法。

背景技术

随着计算机技术、储存技术及互联网的快速发展，各行业都将数据库技术和人工智能算法应用到实际生产中。在电力行业，近些年来，数字化电力系统的趋势越来越明显：数据采集与监控系统、智能变电站、能量管理与监控系统、广域测量等方面都得到了长足的发展。

基于GPS和北斗导航的电力系统同步向量测量装置(Phasor Measurement Unit，PMU)是对电网进行同步向量的测量和输出以及进行动态记录的一种方法，基于此的广域测量系统可以获得电网在不同地点，任何时间的有功无功水平，母线电压、电流、相角等变化参数，且由于其数据具有同步性好、测量精度较高，数据传输快等优点，在量测装置的优化配置、电力系统的故障定位、故障诊断、市场预测、负荷参数辨识等方向均有优秀的研究和应用，为建设智能、坚强型电网奠定基础，为电力质量治理提供依据、为电力公司制定营销策略提供数据支撑。

在如此背景下，对于大规模海量PMU数据的挖掘、处理、分析显得尤为重要。目前，根据国家电网公司企业标准Q/GDW 1131-2014《电力系统实时动态监测系统技术规范》要求，数据采集装置动态数据最低数据记录不得低于100次/秒，暂态采样频率不宜低于1200点/秒，其通信速率不低于19.2kbps。主站之间的通道带宽不低于2Mbps，数据需要保存不少于30天。由此可以看出电力系统的数据增长十分惊人，如何用最短的时间、最简单的设备处理大规模数据已经成为电力系统行业所面临的一大问题。

数据挖掘是在海量的数据源中寻找对用户有价值的信息用于分析决策的技术。目前，数据挖掘在电力系统中的应用研究方向主要集中在对数据的云计算平台架构，挖掘算法，聚类、分类算法，并行框架，数据相关性分析等方面。其中绝大部分采用的是分布式处理框架，对硬件条件要求比较高，不利于对PMU数据研究的进行。并且，常规提取策略在脱离分布式的条件下对离线数据需要多次遍历，处理速度低下。

发明内容

本发明的目的在于克服现有技术的不足，提供一种实用于海量实时PMU数据的挖掘方法，基于轮转算法，采样单机多核并行处理方式，对海量实时PMU数据进行挖掘。

为实现上述发明目的，本发明一种实用于海量实时PMU数据的挖掘方法，其特征在于，包括以下步骤：

(1)、利用PMU标识数据生成数据挖掘表

(1.1)、将PMU标识数据载入至内存并进行解析，再通过检索PMU标识数据中不同设备的文本信息，将解析后的PMU标识数据以单个设备为一层进行划分，再将划分后的数据层依次压入二维数组中，其中，二维数组每行数据即为单个设备采集的不同数据属性，其行索引作为该数据层的标识；

(1.2)、在二维数组中，将用户需要设定或提取的数据在第一行中的位置进行记录，再将所有的记录位置组合成数据挖掘表；

(2)、生成多组群数据

在二维数组中，利用随机抽样的方法抽取N行连续的行数据，并标记为一组群数据；

按照上述方法，随机抽取多次，得到多组群数据；

(3)、校正数据挖掘表

(3.1)、在多组群数据中随机抽取一组群数据，并作为采样群数据；