[发明专利]一种基于HBase的数据存储优化方法及系统

权利要求书

1.一种基于HBase的数据存储优化方法，其特征在于，该方法包括如下步骤：

预先构建电力数据采集风险评估模型；

根据风险评估模型判断是否允许采集电力数据，若是，则采集电力数据，否则，禁止采集电力数据；

将采集的电力数据作为待存储数据上传至HBase开源数据库;

根据需求数据的特点，对待存储数据进行分析，获取其中的需求字段数据和缺失字段数据，并反馈缺失字段数据；

将需求字段数据按照列式存储方式存储至中台；

依据缺失字段数据，通过列动态扩展的方式对中台存储的数据进行补充；

其中，根据风险评估模型判断是否允许采集电力数据的方法包括：

采集系统运行特征数据和电力数据采集装置运行特征数据，并输入风险评估模型；

风险评估模型根据系统运行特征数据和电力数据采集装置运行特征数据，计算采集数据异常风险评估值；

在采集数据异常风险评估值低于预设阈值时，采集电力数据，否则，禁止采集电力数据；

其中，计算采集数据异常风险评估值包括如下子步骤：

根据电力系统运行特征数据，计算电力系统异常值；

根据电力数据采集装置运行特征数据，计算电力数据采集装置异常值；

根据电力系统异常值和电力数据采集装置的异常值，计算采集数据异常风险评估值；

其中，电力系统异常值的计算公式如下:

；

其中，H_d表示电力系统异常值；T2表示采集电力系统运行特征数据的总时长；N表示电力系统运行特征数据的类别总数量；Q_j表示第j种类别电力系统运行特征数据对电力系统异常值的影响权重；Db_j表示第j种类别电力系统运行特征数据的标准值；Ds_jt表示第j种类别电力系统运行特征数据在第t时刻的实际测量值；T1表示频率波动的持续时长；Af_t表示电力系统t时刻的频率偏差值；Yf_t表示电力系统允许的频率偏差值。

2.根据权利要求1所述的基于HBase的数据存储优化方法，其特征在于，电力数据上传过程中，依据预先设定的核查规则，进行数据质量分析核查，以获取上传数据中对应字段的空值数据量。

3.根据权利要求1所述的基于HBase的数据存储优化方法，其特征在于，待存储数据具有多个属性分量，属性分量包括：行键、时间戳、列簇和列限定符。

4.根据权利要求1或3所述的基于HBase的数据存储优化方法，其特征在于，将需求字段数据按照列式存储方式存储至中台的方法包括：设定各需求业务字段对应的列，依据各需求业务字段对应的列，将需求字段数据按照列式存储方式存储至中台。

5.根据权利要求1所述的基于HBase的数据存储优化方法，其特征在于，需求字段数据按照列式存储方式存储至中台的业务数据表中，所述业务数据表具有行和列，每一行代表一个数据对象，每一行都包括一个行键，以及一个或多个列。

6.根据权利要求1所述的基于HBase的数据存储优化方法，其特征在于，采集系统运行特征数据的方法为：采集一段时间内的电力系统运行特征数据，电力系统运行特征数据包括：电压、电流、频率偏差值、振荡和调度负荷。

7.根据权利要求6所述的基于HBase的数据存储优化方法，其特征在于，电力数据采集装置运行特征数据包括：工作电流、工作电压和工作频率。

8.根据权利要求7所述的基于HBase的数据存储优化方法，其特征在于，采集数据异常风险评估值的计算公式如下：

;

其中，F_c表示采集数据异常风险评估值，K1表示电力系统异常值对采集数据异常风险评估值的影响权重；K2表示电力数据采集装置的异常值对采集数据异常风险评估值的影响权重；H_d表示电力系统异常值;H_c表示电力数据采集装置的异常值。

9.一种基于HBase的数据存储优化系统，其特征在于，该系统包括：

异常特征数据采集装置，用于采集系统运行特征数据和电力数据采集装置运行特征数据；

数据处理器，用于根据系统运行特征数据和电力数据采集装置运行特征数据，计算采集数据异常风险评估值；

电力数据采集装置，用于在采集数据异常风险评估值低于预设阈值时，采集电力数据，否则，禁止采集电力数据；

数据传输模块，用于将采集的电力数据作为待存储数据上传至HBase开源数据库;

获取模块，用于根据需求数据的特点，对待存储数据进行分析，获取其中需求字段数据和缺失字段数据，并反馈缺失字段数据；

数据存储模块，用于将需求字段数据按照列式存储方式存储至中台；

数据补充模块，用于依据缺失字段数据，通过列动态扩展的方式对中台存储的数据进行补充；

其中，计算采集数据异常风险评估值包括如下子步骤：

根据电力系统运行特征数据，计算电力系统异常值；

根据电力数据采集装置运行特征数据，计算电力数据采集装置异常值；

根据电力系统异常值和电力数据采集装置的异常值，计算采集数据异常风险评估值；

其中，电力系统异常值的计算公式如下:

；

其中，H_d表示电力系统异常值；T2表示采集电力系统运行特征数据的总时长；N表示电力系统运行特征数据的类别总数量；Q_j表示第j种类别电力系统运行特征数据对电力系统异常值的影响权重；Db_j表示第j种类别电力系统运行特征数据的标准值；Ds_jt表示第j种类别电力系统运行特征数据在第t时刻的实际测量值；T1表示频率波动的持续时长；Af_t表示电力系统t时刻的频率偏差值；Yf_t表示电力系统允许的频率偏差值。