[发明专利]一种面向电力调度自动化海量报文的索引方法

说明书

技术领域

本发明涉及一种索引方法，尤其是一种一种面向电力调度自动化海量报文的索引方法。

背景技术

随着电网规模的快速发展和特高压交直流建设，电网形态、电网特征、运行特性都发生重大变化，电网调度运行和集中监控实施集约融合、统一管理，调度机构在承担电网调度运行工作的同时，还负责变电站集中监视和遥控、遥调操作等工作，因此，调度自动化系统功能、电网模型、自动化信息日益增多，其安全稳定运行和正确控制调节的重要性越来越突出。近两年来，调度自动化系统在运行中出现了较多异常现象，部分异常现象甚至影响了电网调度运行和集中监控。几年来的自动化运行分析报告显示，除常规功能性缺陷外，仍有大量异常现象难以确定具体原因，只能给出初步判断，不利于调度自动化系统异常的消除，成为提升调度自动化系统运行水平的瓶颈。因此为了能满足后续的问题回溯和数据分析等需求，需要有一套系统，既能存储海量数据，又能在取证分析时能高效查询有价值的信息。

为解决上述问题，现有的技术中有：

1、发明名称为“一种海量历史数据的存储及索引方法”，该发明公开了一种海量历史数据的存储及索引方法，属于实时历史数据库领域。该方法根据分布式文件系统将大文件进行分块存储的特点，给出了一种简单高效的海量历史数据文件的存储方法和一种高效的分布式索引机制，如图1所示，由测点n的元数据区和历史数据区构成一条测点n的数据。测点n的元数据包括测点数字标志、采集周期和第一个数据时间戳；测点n的数据表示每周期采集的数据。测点n的数据存储在历史数据文件块中。历史数据文件分布式存储在物理存储中，实现分布式存储的冗余。如图2表示，测点存储到分布式存储中，能够得到测点的文件块号FileBlockID、文件块中的数据偏移DataOffset、测点数据长度DataLength。依据测点数字标志更新日索引文件中的FileBlockID、DataOffset、DataLength。处理完一天的测点数据，将该天的日索引文件写入年索引文件。其索引结构是以时间和测点两个先后维度的二维度数组方式实现的，查询也是先时间维度，后测点数据维度方式展开的。

2、发明名称为“一种网络流量数据索引方法及系统”，该发明公开了一种网络流量数据索引方法及系统，方法包括：实时捕获网络流量数据；在内存中通过对所述网络流量数据的每个索引字段维护一棵位图-字典树来建立并存储所述网络流量数据的索引结构，进而更新所述索引字段的索引结构；根据用户的查询请求来查询所述网络流量数据的索引结构，从而获得网络流量数据的存储位置信息，将该存储位置信息返回给用户，用户根据该存储位置信息获取响应的数据。图3表示，内存索引结构的非叶子节点为带32字节位图的256叉树；叶子节点指向数据链表。32字节位图有利于判断是否有子节点：为1时表示有子节点，为0时表示没有子节点。256叉树中有许多没有子节点。图4表示内存中的的位图-字典树转换成在磁盘中的存储布局：将内存中的指针转换成磁盘中的位置偏移，即能够由当前节点找到子节点的位置偏移。

3、发明名称为“一种基于语义的海量数据处理方法”，该发明公开了一种基于语义的海量数据处理方法，其包括以下步骤：A、将所述云应用中的所有的海量数据进行语义处理，形成智能分布式的语义索引机制；B、对云应用中所有的元数据和数据按照所述语义索引机制进行语义存储到相应的云存储系统中；C、对存储于云存储系统中的云应用执行海量数据的MapReduce计算。图5表示了依据数据密集型应用的语义判断，即聚类或分类的统计方法将海量数据划分为基于社会网络的应用元数据及应用数据节点集群分配、基于分类的应用元数据及应用数据节点集群分配。

以上的方案都为了满足数据的存储或索引需求，但各有侧重点，因此都存在各自的缺点，如下：

1、名称为“一种海量历史数据的存储及索引方法”的发明方案，采用基于时间维度和测点维度的二维度数组索引方式；查询时，总是先查询时间维度，再查询测点维度，不能有效地扩展到更多维度的索引构建和变维查询，不支持基于语义查询网络数据。