[发明专利]电力系统中基于Hadoop的电力云数据管理索引方法

摘要

本发明提供的电力系统中基于Hadoop的电力云数据管理索引方法，包括b.将接收到的数据分为海量数据类型和信息数据类型；c.根据数据的类型建立每种类型对应的索引；d.根据用户的查询条件生成请求信息，根据请求信息进行搜索，并将搜索结果反馈给用户；本发明有效的满足频发更新、快速的多维查询要求，并且在一定程度上减少了索引创建对系统写入性能的影响，减小了检索对系统稳定性造成的威胁。

主权项

1.一种电力系统中基于Hadoop的电力云数据管理索引方法，其特征在于：包括：a.将电力系统的数据处理架构划分为：数据访问层，用于根据用户的业务检索请求对数据进行判断和分类处理，数据处理层，用于接收电力系统中的数据并对电力系统中的数据类型进行判别，数据存储层，用于数据索引的创建、维护和原始数据存储；b.将接收到的数据分为海量数据类型和信息数据类型；并将数据传输给数据处理层，数据处理层将数据进行分类处理并向存储层传递待存储信息和数据类型信息；c.根据数据的类型建立每种类型对应的索引：数据存储层对接收到的所述待存储信息和数据类型信息进行解析，并根据数据类型信息将数据建立对应的索引，具体地：当数据类型为信息数据时，所述步骤c中建立索引包括c11.判断请求信息是否为数据存储请求，若是存储请求，则将数据分析信息和原始数据信息传递给虚拟存储系统，虚拟存储系统在可信服务器中进行索引创建形成对应的反向索引表和词典文件，并按照数据存储结构进行存储；若不是存储请求，则将请求信息交由虚拟存储系统的存储层进行搜索，可信服务器根据搜索的提交的关键词和语法树来计算文件权重，并返回用户查找相关信息数据类型信息；当数据类型为海量数据时，所述步骤c中建立索引包括c21.分别建立索引簇和Hbase簇，c22.当海量数据到达时，系统同时将其传送给索引簇和Hbase簇；c23.索引簇建立粗粒度索引，并向HBase簇发送信息；c24.Hbase簇收到索引簇的发送的信息后，在每个存储块中建立一个细粒度索引，获取需求信息；d.根据用户的查询条件生成业务检索请求信息，根据业务检索请求信息进行搜索，并将搜索结果反馈给用户。