[发明专利]电力系统中基于Hadoop的电力云数据管理索引方法

说明书

本发明提供的电力系统中基于Hadoop的电力云数据管理索引方法，包括b.将接收到的数据分为海量数据类型和信息数据类型；c.根据数据的类型建立每种类型对应的索引；d.根据用户的查询条件生成请求信息，根据请求信息进行搜索，并将搜索结果反馈给用户；本发明有效的满足频发更新、快速的多维查询要求，并且在一定程度上减少了索引创建对系统写入性能的影响，减小了检索对系统稳定性造成的威胁。

技术领域

本发明涉及计算机领域，尤其涉及一种电力系统中基于Hadoop的电力云数据管理索引方法。

背景技术

电力供应的安全稳定，是电力部门的首要目标。在计算机设备不断进入电力行业的今天，随着物联网、云计算、移动互联网的快速发展，数据以爆炸化的形式中急剧膨胀，电力系统数据存储的稳定和安全，成为保障电力系统稳定运行的重要条件。

近年来，随着智能变电站等基础设施的大规模建设，电网企业的数据量正在以几何级速率疯狂增长，其数据来源具有复杂性和多样性(结构化、半结构化和非结构化)的特点。各种异构信息的存储，如：通信电源、图像监视、安全警卫、主变压器消防、给排水、火灾报警、采暖通风、门禁、动力环境监视等辅助生产系统以及开关状态、设备状态等在线监测设备的处理成为亟待解决的问题。

在现有的电力系统领域中，存储数据主要分为两大类型：海量数据和信息数据。其中，海量数据主要由多媒体数据(原始音、视频，图片)、传感器数据和系统设备数据等组成，具有存储量大，访问频率低的特点，主要用于检索回放和备份存储；信息数据主要以业务操作数据为主，具有存储量小，访问频率高的特点，主要用于报表查看等业务操作。

目前，现有的文件系统难以满足电力行业实际的存储需求。直接用于电力系统中会导致很多问题，例如：(1)磁盘空间利用率低。由于监控业务的并发突发，视频文件存储量大，小文件多等特点，就安防监控业务来看，使用传统的文件系统会导致磁盘碎片过多，使空间利用率不高；(2)文件检索效率不高。文件检索查找等业务操作会随着存储系统中文件数量的急剧增多(增涨到数千万以上时)给系统效率带来巨大的考验。当文件的数量超过一定数量时，甚至会造成系统崩溃等问题；(3)存储技术的融合不够。现有的技术手段主要考虑的是现有硬件基础架构加上软件，以SAN架构+卷管理软件(或并行文件系统)为代表。在继承了架构缺点的同时也继承了卷管理软件或并行文件系统的缺点，如：在构建和维护上流程复杂，其次由于数据块和网络需求等多方面原因，基于SAN的系统也很难扩容，无法满足大数据存储需求。

发明内容

有鉴于此，本发明提供一种电力系统中基于Hadoop的电力云数据管理索引方法，以解决上述问题。

本发明提供的电力系统中基于Hadoop的电力云数据管理索引方法，包括：

b.将接收到的数据分为海量数据类型和信息数据类型；

c.根据数据的类型建立每种类型对应的索引；

d.根据用户的查询条件生成请求信息，根据请求信息进行搜索，并将搜索结果反馈给用户。

进一步，在步骤b之前还包括

a.将电力系统的数据处理架构划分为：

数据访问层，用于根据用户的业务检索请求对数据进行判断和分类处理，

数据处理层，用于接收电力系统中的数据并对电力系统中的数据类型进行判别，

数据存储层，用于数据索引的创建、维护和原始数据存储。

进一步，所述步骤b还包括

b1.将数据传输给数据处理层，数据处理层将数据进行分类处理并向存储层传递待存储信息和数据类型信息。

进一步，数据存储层对接收到的所述待存储信息和数据类型信息进行解析，并根据数据类型信息将数据建立对应的索引。