[发明专利]电力量测系统数据处理方法、装置和计算机设备

权利要求书

1.一种电力量测系统数据处理方法，其特征在于，应用于数据处理设备，所述数据处理设备中设置有分布式文件系统，所述方法包括：

接收到电力量测系统的待处理数据，获取所述待处理数据对应的业务类型；

根据所述业务类型确定所述待处理数据的数据类型，并根据所述数据类型将所述待处理数据存储至对应的第一存储位置，得到第一存储数据；所述第一存储位置设置于分布式文件系统的数据存储区域中；所述数据存储区域包括存储时间不同的多个存储位置；

根据所述第一存储位置对应的计算组件和存储周期，将所述第一存储数据存储至所述分布式文件系统中的第二存储位置，得到第二存储数据；

将所述第二存储数据发送至所述数据处理设备中的数据发布区域，以使所述电力量测系统中的业务应用通过预设接口访问所述数据发布区域中的第二存储数据。

2.根据权利要求1所述的方法，其特征在于，所述接收到电力量测系统的待处理数据，包括：

获取所述电力量测系统的报文数据，将所述报文数据进行解析，得到原始采集数据；

通过卡夫卡消息队列接收所述原始采集数据，作为所述待处理数据。

3.根据权利要求1所述的方法，其特征在于，所述业务类型包括非实时业务以及实时业务；

所述根据所述业务类型确定所述待处理数据的数据类型，包括：

获取所述待处理数据在所述电力量测系统中对应的业务类型；

若所述业务类型为非实时业务，确定所述待处理数据的数据类型为非实时数据；

若所述业务类型为实时业务，确定所述待处理数据的数据类型为实时数据。

4.根据权利要求3所述的方法，其特征在于，所述根据所述数据类型将所述待处理数据存储至对应的第一存储位置，包括：

若所述数据类型为非实时数据，通过Sparkstreaming计算组件读取所述待处理数据，并将所述待处理数据存储至数据准备层；所述数据准备层设置于所述分布式文件系统中；

若所述数据类型为实时数据，通过Sparkstreaming计算组件和sparksql计算组件读取所述待处理数据并对所述待处理数据进行数据清洗，得到清洗数据，将所述清洗数据存储至redis内存数据库；所述redis内存数据库设置于所述分布式文件系统中；

其中，所述数据准备层的数据存储时间小于所述redis内存数据库的数据存储时间。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一存储位置对应的计算组件和存储周期，将所述第一存储数据存储至所述分布式文件系统中的第二存储位置，包括：

若所述第一存储位置为数据准备层，通过sparksql计算组件将所述第一存储数据实时存储至所述分布式文件系统中的细节数据层；所述细节数据层用于存储进行数据清洗后的数据和/或永久存储的数据；

若所述第一存储位置为redis内存数据库，通过sparksql计算组件将所述第一存储数据按照预设存储周期定时存储至所述细节数据层。

6.根据权利要求5所述的方法，其特征在于，所述将所述第二存储数据发送至所述数据处理设备中的数据发布区域之前，还包括：

根据大规模并行分析数据库、CTSDB时序数据库以及redis内存数据库，得到所述数据发布区域。

7.根据权利要求6所述的方法，其特征在于，所述将所述第二存储数据发送至所述数据处理设备中的数据发布区域，包括：

通过sparksql计算组件从所述第二存储位置读取所述第二存储数据，并根据预设算法以及预设统计规则获取所述第二存储数据对应的统计结果数据和所述第二存储数据对应的报表数据；

将所述第二存储数据、所述统计结果数据以及所述报表数据发送至所述数据发布区域中的大规模并行分析数据库、CTSDB时序数据库以及redis内存数据库中并存储。