[发明专利]一种智能配用电大数据应用系统数据集市建立方法

说明书

本发明公开一种智能配用电大数据应用系统数据集市建立方法，将用户用电数据、电网运行数据等一系列基础数据通过不同的数据分析和挖掘手段，建成数据集市，为各个应用模块提供应用数据。数据集市基于数据处理为核心，进行数据采集、数据存储、数据清洗、数据分析，最终实现数据分析结果可视化展示的目的，实现大数据应用系统对数据的高速查询和检索。

技术领域

本发明涉及配电领域，尤其涉及多源异构的配用电大数据处理方面，是大数据技术在配电网的应用。

背景技术

随着大数据时代的来临，各行各业都在面临着巨大的数据压力。电力行业也不例外，海量的用户用电数据的存储、管理、分析、应用都是急需解决的问题。如何通过对数据的分析，找到其中蕴含的规律和价值，为个性服务的提供、电网架设、决策制定等提供科学的参考和依据，是配用电业务逐步向智能化、精益化方向发展的关键。

建设智能配用电大数据应用系统，进一步优化配用电数据处理的方法，既是理论研究成果验证的要求，是作为对接理论研究与实践检验的必备环节，可以为理论研究成果在实际工程中的运用与验证提供手段，是理论研究成果进行成果转化的助推器。又是智能电网建设需求，智能电网的深入建设对多源数据的融合与挖掘提出了更高的要求，智能配用电大数据应用系统的建设将大数据技术拓展到智能配用电领域，运用大数据技术发现配用电数据价值，实现大数据技术在智能配用电业务领域的技术拓展，提升配用电网的智能化水平和综合效益。

由于配用电数据种类繁多，且由于来自不同设备、外接系统而导致的结构差异大问题，现有技术中在面对数量急剧增长，采集频度大幅增强的电力数据时，无法满足对数据有效集成、高效存储和高可扩展性的要求

发明内容

发明目的：提供一种智能配用电大数据应用系统数据集市建立方法，能够综合应用大数据分析处理技术，对海量的用户用电数据和其他相关数据进行研究，并将研究的结果工程化，进一步提高配用电大数据处理效率，建设智能配用电大数据应用系统技术方案。

为解决上述技术问题，本发明采用的技术方案为：

一种智能配用电大数据应用系统数据集市建立方法，将的基础数据(用户用电数据、电网运行数据)通过数据分析和挖掘，建成数据集市，为各个应用模块提供应用数据；数据集市基于数据处理为核心，进行数据采集、数据存储、数据清洗、数据分析，实现数据分析结果可视化展示。

一种智能配用电大数据应用系统数据集市建立方法，具体包括以下步骤：

步骤1，数据采集：通过接口方式和采集入库方式对源数据进行数据采集；

步骤2，数据存储：通过解析提取后进行格式统一的存储；

步骤3，数据清洗；数据清洗基于线性插值或者均值替换方法，对数据的缺失、异常、重复和噪音进行清洗处理；

步骤4，数据分析：基于大数据平台和相应的机器学习库，对数据进行分析；

步骤5，数据展示：基于B/S的结构实现。

较优地，接口方式和采集入库方式具体包括：

对于新建设或能够进行改造的外接系统，通过向外接系统提供数据接口的方式，由外接系统在产生数据时自动推送，分别提供HTTP，Web Service和FTP数据接口；对于不能进行改造的系统，通过采集入库方式，根据目标提供的方式实时或按周期对目标数据进行读取。

较优地，步骤2，具体包括以下步骤：

201)存储结构选型和信息模型建立

存储组件包括hive、habase、elastic search和holodesk；

202)SQL结构优化：基于业务逻辑，对sql进行逻辑简化；