[发明专利]一种基于数据中台流批一体化的量测数据处理方法

说明书

本发明公开了一种基于数据中台流批一体化的量测数据处理方法，包括以下步骤：(1)采用数据中台的方法，从系统中获取和汇聚多源电网生产数据；(2)结合数据资产信息，使用数据中台流批一体化技术实现多源数据的融合，构建数据融合模型；(3)结合融合数据，实现电网量测数据与结构化数据的关联聚合；(4)基于中台离线计算组件，结合应用需求，实现离线批处理。本发明针对多源数据，采用数据中台进行数据融合，建立数据层级关联关系，通过特定聚类算法对数据进行归类识别，搭建数据共享融合分析模型，对电力数据进行多维分析，精准识别数据特性，建立系统化、常态化数据处理分析业务流程，提升数据价值和提炼数据特征的工作成效。

技术领域

本发明涉及电网数据分析领域，特别是一种基于数据中台流批一体化的量测数据处理方法。

背景技术

随着智能电网的建设与发展，电网的发电、输电、变电、配电、用电和调度六大环节安装和部署了众多的数据采集设备，并配套建设相应的信息管理系统。这些系统产生和管理着海量结构复杂、彼此关联的数据。这些多数据源的海量数据为数据挖掘提供了良好的条件，然而这些海量的数据(量测和结构化)相对又是独立分布在不同的业务系统内，从数据层面上看，数据结构差异性较大，彼此关联特征提取较难，从系统层面上看，不同的数据类型服务于不同的业务场景，数据生成的方式方法差异较大。但是作为电网公司生产过程中产生的数据，其数据价值和可挖掘价值较高，如何实现多源多结构的海量数据融合关联，是提升数据处理性能、挖掘数据价值、将数据转变为资产，为电网解决实际问题是电力大数据的使命所在。

国家电网“三型两网”和泛在电力物联网战略目标要求，以公司内外部对量测数据的需求为导向，基于公司整体的企业级数据中台的技术架构，开展量测域公共数据服务封装，积累并沉淀量测数据处理服务能力，以微服务的方式为营销、调度、PMS等跨专业数据应用建设以及大数据价值挖掘提供有力的数据支撑与保障。

发明内容

发明目的：本发明的目的是提供一种基于数据中台流批一体化的量测数据处理方法，从而对电力数据进行多维分析，精准识别数据特性，建立系统化、常态化数据处理分析业务流程，提升数据价值和提炼数据特征的工作成效。

技术方案：本发明所述的一种基于数据中台流批一体化的量测数据处理方法，包括以下步骤：

(1)数据抽取和汇集：采用数据中台的方法，从系统中获取和汇聚多源电网生产数据；

(2)数据的预处理和特征提取：结合数据资产信息，使用数据中台流批一体化技术实现多源数据的融合，构建数据融合模型；

量测数据特征提取，依托收集和应用需求分析，根据不同类型的用电和供电设备(RTU或TTU设备)，分析得出不同设备的采集频率和采集项，提取出设备多维度特征量，例如：是否达到当日采集频率，是否有漏采和补采现场发生等。同时采用大数据聚合算法实现数据的多维度分析抽样。通过对大量数据分析相关特征，挖掘数据的潜在价值，建立电力数据的资产明细，构建数据血缘关系。

(3)数据模型融合和关联聚合：结合融合数据，实现电网量测数据与结构化数据的关联聚合；

量测数据融合，采用数据挖掘聚类分析技术，按照设备类型和量测类型将数据分成不同的种类，使用用电信息采集系统、D5000系统、PMS生产管理系统以及营配一体化系统的历史数据，通过聚类分析技术，生成不同种类数据的典型样例。通过对典型样例的分析和提取，生成数据融合模型。

(4)流式计算和离线处理：基于中台离线计算组件，结合应用需求，实现离线批处理，提升量测数据计算加工能力输出。

步骤(1)中所述的系统包括用电信息采集系统、D5000系统、PMS生产管理系统以及营配一体化系统。

步骤(2)中所述的多源数据包括量测类数据和结构化数据。

所述步骤(1)具体为：