[发明专利]一种电力客服营配业务海量数据存储及快速查询方法

说明书

本发明公开了一种电力客服营配业务海量数据存储及快速查询方法，涉及到电力领域，包括以下步骤：数据集成，按照业务需求，将全国范围营配相关数据集成至大数据平台，包括停电通知记录、每日冻结电能示值、停（上）电事件等智能电表等信息；HBase预分区存储把需要存储的海量电力客服业务管理营配贯通相关数据通过sqoop工具或者直接存储到HBase表中，HBase数据库在创建表的时候会自动分配出Region区域。本发明利用大数据分布式架构的存储方式，针对电力客服业务管理营配贯通相关数据的类型特点，利用列示存储，对原始电力客服业务管理营配贯通相关数据进行转换，以键值对的形式进行存储，同时按照键值的形式实现快速查询响应。

技术领域

本发明涉及电力技术领域，尤其涉及一种电力客服营配业务海量数据存储及快速查询方法。

背景技术

在使用传统数据库以及大数据平台碰到了瓶颈，即传统的架构只支持垂直扩展，通过在一台机器上增加内存和CPU等硬件资源来提升电力客服业务管理营配贯通相关数据处理能力，但是相对电力客服业务管理营配贯通相关数据呈指数型增长，单机拓展很快就达到来极限。虽然Hadoop大数据平台能够存储和计算大规模数据，但是无法提供高效的交互式查询，查询效率低。

随着近年来电力业务量的井喷式发展，电力客服营配业务相关的数据及业务应用的随之增长，数据方面，电力客服营配数据具备增长量快、数据结构复杂等特点，传统关系型数据库在数据存储、检索均表现不足，因此需要一种电力客服营配业务海量数据存储及快速查询方法来满足人们的需求。

发明内容

本发明的目的在于提供一种电力客服营配业务海量数据存储及快速查询方法，以解决上述背景技术中提出的随着近年来电力业务量的井喷式发展，电力客服营配业务相关的数据及业务应用的随之增长，数据方面，电力客服营配数据具备增长量快、数据结构复杂等特点，传统关系型数据库在数据存储、检索均表现不足的问题。

为实现上述目的，本发明提供如下技术方案：一种电力客服营配业务海量数据存储及快速查询方法，包括以下步骤：

（1）、数据集成：按照业务需求，将全国范围营配相关数据集成至大数据平；

（2）、HBase预分区存储：把需要存储的海量电力客服业务管理营配贯通相关数据通过sqoop工具或者直接存储到HBase表中，HBase数据库在创建表的时候会自动分配出Region区域；

（3）、HBase二级快速索引：将存储的电力客服业务管理营配贯通相关数据通过分区优化策略，以及建表中列族优化的策略将电力客服业务管理营配贯通相关数据存储到表中。

优选的，所述数据集成步骤：

（1）、源端系统通过OGG的方式与目标端大数据平台，通过数据同步将电力客服业务管理营配贯通相关数据同步至目标端；

（2）、各源端系统针对本次需求信息新增同步表；

（3）、完成基于海量电力客服业务管理营配贯通相关数据实时同步及实时响应的存储设计，完实数据的高效存储；

（4）、基于客服中心帖源层、数据仓库的存储、加工方法，完成营配数据计算模型设计、数据加工逻辑算法开发、汇总模型开发，实现电力客服业务管理营配贯通相关数据的高效访问。

优选的，所述的Region结构：

（1）、Region区域先建立起索引；

（2）、在Region收到客户端发来的信息，建立Scanner对象对Region区域中的Row Key进行搜寻；