[发明专利]一种基于HBase的数据存储优化方法及系统

说明书

本申请提供一种基于HBase的数据存储优化方法及系统，该方法包括如下步骤：采集系统运行特征数据和电力数据采集装置运行特征数据；根据系统运行特征数据和电力数据采集装置运行特征数据，计算采集数据异常风险评估值；在采集数据异常风险评估值低于预设阈值时，采集电力数据，否则，禁止采集电力数据；将采集的电力数据上传至HBase开源数据库；根据需求数据的特点，对待存储数据进行分析，获取其中需求字段数据和缺失字段数据；将需求字段数据按照列式存储方式存储至中台；依据缺失字段数据，对中台存储的数据进行补充。本申请在保证数据安全可靠的前提下，完成业务数据的灵活存储，减少了存储空间资源的占用。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于HBase的数据存储优化方法及系统。

背景技术

电力数据中台中业务数据随着电网业务的发展不断积累，并形成了常态化的数据监测和数据分析业务体系，依托设备明细负荷数据及运营效率等计算指标，在业务实际操作过程中，电力系统的数据中台实现按业务数据需求从各业务系统中离线、准实时、实时地进行数据的采集、存储何交换，并以总部、省、地市三级横向协同、纵向贯通的运营管控体系，实现了经营绩效、管理效率、运营效率等监测业务的常态化运行，为发展规划、电网运行等提供相关决策支撑。

在这一过程中有大量的业务数据及非业务数据写入数据中台相关数据库中，同时采用全量接入+周期抽取的方式进行数据的抽取及存储，以满足业务系统数据接入及后续数据分析的基本要求。

目前电力数据中台中业务数据，通过全量接入+周期抽取的方式将数据抽取存储至相关数据库中。在这一过程中，由于省侧数据清洗规则及数据质量核查不规范，导致接入数据中存在数据缺失的问题，例如，业务数据表中某些字段数据大量缺失。这些等待修改补充的数据表在反馈至省侧之前会堆积在数据库中，大量占用数据库的存储空间，降低数据的查询效率，并且不能实时进行数据填补，只能等待省侧修改后进行表级别的数据更新，这显然不利于中台业务数据的快速转换。

如图1所示，存在部分数据的缺失，而由于传统数据库存储方式的关系，缺失字段仍会占据相关数据存储空间，这就造成了数据中台大量存储空间被白白占用。

此外，用于业务数据过程中，源表一般为宽表，有着大量的数据字段，而对应业务分析过程中所需要的数据字段较少，因此在表数据更新或分析过程中会涉及大量的字段数据查询及修改，同时产生较大的小表，这也会降低业务数据存储分析的效率。

发明内容

本申请的目的在于提供一种基于HBase的数据存储优化方法及系统，该方法实现了电力数据中台业务数据存储过程的优化，在保证数据安全、可靠、及一致的前提下，完成业务数据的灵活存储，减少了缺失数据对存储空间资源的占用。

为达到上述目的，本申请提供一种基于HBase的数据存储优化方法，该方法包括如下步骤：

预先构建电力数据采集风险评估模型；

根据风险评估模型判断是否允许采集电力数据，若是，则采集电力数据，否则，禁止采集电力数据；

将采集的电力数据作为待存储数据上传至HBase开源数据库;

根据需求数据的特点，对待存储数据进行分析，获取其中需求字段数据和缺失字段数据，并反馈缺失字段数据；

将需求字段数据按照列式存储方式存储至中台；

依据缺失字段数据，通过列动态扩展的方式对中台存储的数据进行补充；

其中，根据风险评估模型判断是否允许采集电力数据的方法包括：

采集系统运行特征数据和电力数据采集装置运行特征数据，并输入风险评估模型；

风险评估模型根据系统运行特征数据和电力数据采集装置运行特征数据，计算采集数据异常风险评估值；