[发明专利]电力传输设备监控数据处理方法

权利要求书

1.一种电力传输设备监控数据处理方法，其特征在于：

根据监控数据的关联性和时间和空间属性进行多重备份的一致性散列存储，利用并行计算框架对多个监控数据源进行组合检索和并行检索和特征分析。

2.根据权利要求1所述的方法，其特征在于，所述根据监控数据的关联性和时间和空间属性进行多重备份的一致性散列存储，进一步包括：

获取每个监控设备采集数据的时间和空间特性，即数据对应的采集时间和采集地点以及自定义相关系数作为数据检索和分析的关键字；在云平台中将数据存储为3个备份版本；利用一致性散列将数据的第1备份按照监控设备编号进行散列映射；将数据的第2备份按照采集时间数据进行散列映射；将数据的第3备份按照自定义相关系数进行散列映射，所述相关系数为监控数据的特定属性，其根据上层应用程序的需要来赋值；所述一致性散列存储进一步包括以下过程：

1)通过配置文件预定义监控数据的所述相关系数以及冗余备份的数量；

2)计算云平台中每个存储节点的散列值，并将其配置到预先建立的循环散列队列区间上；

3)根据监控数据的时间和空间属性以及相关系数计算数据的散列值，对云平台下存在的数据多个备份的第1备份，根据数据的来源，即监控设备编号，计算第一散列值，将其映射到循环散列队列上；对第2备份，根据监控数据的时间属性即采集时间数据，计算第二散列值，并将其映射到循环散列队列上；对第3备份，根据数据的相关系数计算第三散列值，并将其映射到循环散列队列上；如果云平台配置有3个以上的备份，则交替按照上述第一至第三备份的方式计算其散列值并依次映射到循环散列队列上；

4)根据数据散列值和存储节点散列值确定数据的存储位置，按顺时针将数据映射到距离其最近的存储节点上；

5)若数据将存储的节点出现空间不足情况，则跳过当前节点以寻找下一个存储节点；

此外，在进行数据读取时，名字节点根据存储节点与客户端之间的距离对多个存储节点进行排序后返回给客户端，以从最近的节点读取数据，其中，两个节点之间的距离定义为一个节点到达另一个节点所经过的节点数。

3.根据权利要求2所述的方法，其特征在于，所述对多个监控数据源进行组合检索，进一步包括：

根据以下条件进行检索：设备属性数据，即名称、运行时间、安装地点、本体参数，监控数据即导线温度、载流量、拉力、环境数据即环境温度、湿度和气压、地理信息数据即海拔、经纬度；将不同的数据源进行数据连接，所述不同的数据源来自于多个文件；监控设备对绝缘端子泄漏电流、导线张力、导线电流、导线温度、微气象数据进行统一的数据采集并上传，在绝缘端子异常、导线接头过热或失衡的情况下进行相关的信息报警；其中在监控泄漏电流的过程中，利用设备属性数据文件、绝缘端子泄漏电流数据文件和环境数据文件这3个数据文件进行检索，生成监控设备预定时间内的监控数据，并将3个数据文件进行连接处理以进行组合检索；

在电力传输设备监控数据完成存储之后，对数据进行检索的方法是在map端执行的并行查询方法，在map阶段完成数据的过滤及连接过程而避免进行reduce阶段，检索包括以下步骤：

1)根据用户提出的检索条件，对数据进行过滤，去除不满足条件的数据；

2)根据检索需求，设定主键；所述主键为监控设备编号、时间数据或者相关系数；

3)对各数据源的每条记录，采用数据文件名作为标签进行标记；

4)根据主键将相同属性值的记录切分到一组，并进行数据连接；

组合检索的map过程中的过滤、标记设定、分组排序、连接操作在本地节点进行，然后组合检索的结果输出到分布式文件系统；

并且，所述对多个监控数据源进行并行检索和特征分析，进一步包括：

基于多通道时间序列的动态相互关系，对多通道同步采集的信号数据进行整合特征提取，首先将数据上传至分布式文件系统，由分布式文件系统将数据分块，并随机分布到多个存储节点上，多通道时间序列的动态相互关系的计算在reduce阶段完成，计算结果输出到分布式文件系统中保存，利用数据的时间关联性，将采集时间数据作为关键字计算散列存储位置，所述特征提取过程进一步包括：

1)计算任务时间，对数据进行过滤，去除不满足时间条件的数据；2)将时间数据作为主键，对每条记录进行标记；3)根据主键将相同属性值的记录切分到一组，并调用多变量样本熵计算过程，将计算结果输出到分布式文件系统。