[发明专利]一种面向电力调度自动化海量报文的索引方法

摘要

一种面向电力调度自动化海量报文的索引方法，涉及一种索引方法。目前，电力系统不能兼顾存储海量数据和在取证分析时能高效查询有价值的信息。本发包括：建立索引机制的前序步骤及根据建立的索引机制进行的查询索引步骤，其中查询索引包括多维度联合点查询、多维度联合范围查询及电力调度自动化报文应用层内容和其它多维度查询。本技术方案支持基于语义的查询网络数据，查询范围广，查询效率高，空间占用小，时间短。

主权项

一种面向电力调度自动化海量报文的索引方法，其特征在于包括：建立索引机制的前序步骤及根据建立的索引机制进行的查询索引步骤，其中前序步骤包括：101)对于电力调度自动化报文，首先按到达系统的时间先后顺序日志化存储到报文文件中，同时获得报文时戳、报文文件中的偏移和报文长度，写入报文索引文件，输出该报文在报文中的顺序报文id；102)经过对电网流量各业务进行协议分析，得到各业务的特征码，从而建立语义模式库；识别引擎根据语义模式库对电力调度自动化报文进行识别，然后根据识别结果选择对应的业务插件进行深层次的语义匹配；业务插件负责匹配每个业务的语义信息；103)依据业务的多维度定制化插件的需求分析报文，提取多层多维度信息，按各个单个维度使用skip list进行排序；104)构建多维度联合查询索引树，当多维度数为n时，多维度联合查询索引树的索引子树数最大为：(n为偶数时)或(n为奇数时)；对于多维度联合查询索引树的每个索引子树在内存中构建时，采用skip list进行排序插入；105)当报文文件的大小、报文个数或时间范围阈值的任意一个条件满足时，将内存中的索引子树永久化为磁盘索引文件存储：a)将单个维度的排序写入单维度排序文件；b)依据单维度排序文件，为skip list中的排序索引分别获取各个维度值的编码值，构建新的索引；c)依据新的索引构建bloom filter数组，写入索引文件；d)对于新的索引使用bulk loading方法构建kdb树，叶子节点中按照自左而右的方式顺序存储，叶子节点中存储在索引文件中的偏移和报文id个数，在kdb索引树后存储报文id集；查询索引包括多维度联合点查询、多维度联合范围查询及电力调度自动化报文应用层内容和其它多维度查询；多维度联合点查询包括以步骤：201)首先打开单维度排序文件，分别获取各个维度值的编码值；202)打开对应维度的索引文件将bloom filter数组读入内存，确认索引文件中是否存在该索引，若不存在，则返回无查询结果；否则，转203)；203)将kdb索引树读入内存，遍历树查询获得该索引对应的结果在该索引文件中的偏移和报文id个数m，从该索引文件对应的偏移中获取m个报文id集；204)打开报文索引文件，获得每一个报文id的报文文件中的偏移和报文长度的结果集，合并连续的报文偏移和报文长度，得到偏移和报文长度的合并集；205)打开报文文件，依据报文文件中的偏移和报文长度的合并集，获取报文原始数据；多维度联合范围查询包括以下步骤：301)打开单维度排序文件，分别获取各个确定维度的编码值，获取非确定维度的编码最大值，由此构建范围查询的起始点和结束点，查询大于等于起始点、小于等于结束点之间的报文id集；302)打开对应的索引文件，将kdb索引树读入内存，遍历树查询获得大于等于起始点的报文id集在该索引文件中的偏移；获得小于等于结束点的报文id集在该索引文件中的偏移，从该索引文件中获取从起始点的报文id集偏移到结束点的报文id集偏移之间的所有报文id集；303)打开报文索引文件，获得每一个报文id的报文文件中的偏移和报文长度的结果集，依据报文偏移排序和合并，得到偏移和报文长度的合并集；304)打开报文文件，依据报文文件中的偏移和报文长度的合并集，获取报文原始数据；电力调度自动化报文应用层内容和其它多维度查询步骤，401)对于输入的报文应用层内容，经过报文业务语义识别引擎，获得报文的业务类型；402)结合对应的维度，使用多维度联合点查询方法作多维度联合点查询或多维度联合范围查询方法作多维度联合范围查询。