[发明专利]一种采集、处理和上传企业能源计量数据的方法

说明书

一种采集、处理和上传企业能源计量数据的方法，该方法包括以下步骤：在企业内网端设置中间数据库；将采集到的能源计量原始数据存储到中间数据库中；建立数据模型，对数据进行清洗、集成、转换、规约处理，得到有效数据；将处理后的数据上传到正式数据库。本发明通过中间数据库的设定保证企业数据的安全，并为数据处理提供环境支撑。通过对数据进行清洗、集成、转换、规约使得到的数据更加准确和可靠、可用性也更强，同时也减少了无效数据的上传量。

技术领域

本发明涉及数据处理技术领域，具体地说是一种采集、处理和上传企业能源计量数据的方法。

背景技术

随着重点用能单位能耗在线监测系统相关工作的深入开展，越来越多的企业能源计量数据需要接入上级相关平台，高效、稳定的能源计量数据的采集、处理和上传是整个工作顺利开展的基础。

现有能源计量数据采集、处理和上传过程通常采用直传的方式即原始数据由数据采集器完成采集并将数据直接存入数据库中，数据上传程序对原始数据经过简单的处理后直接上传到上级部门相关平台。

现有的方式问题突出表现在上传数据质量低、数据传输过程安全性低和数据传输稳定性差等方面。上传数据质量低主要指未经处理的数据数据准确性差、异常数据多和数据可用性差等方面，数据传输过程安全性低主要是指企业内网与外网直接通信降低了企业内部数据安全性。

发明内容

本发明的目的在于提供一种采集、处理和上传企业能源计量数据的方法，用于解决上传数据质量低、数据传输过程安全性低和数据传输稳定性差的问题。

本发明解决其技术问题所采取的技术方案是：

一种采集、处理和上传企业能源计量数据的方法，该方法包括以下步骤：

在企业内网端设置中间数据库；

将采集到的能源计量原始数据存储到中间数据库中；

建立数据模型，对数据进行清洗、集成、转换、规约处理，得到有效数据；

将处理后的数据上传到正式数据库。

在第一种可能实现的方式中，所述对数据进行清洗包括对缺失值、重复值、异常值进行处理，具体包括：

通过对照已经设置的数据采集项名称、个数、种类和有效值范围对原始数据进行数据清洗；

将不满足要求的缺失值、重复值和异常值删除或插补。

在第二种可能实现的方式中，对数据进行集成包括将企业中通过电力需求侧、数据采集器和opc接口三种不同来源的数据，采用基于中间件模型和数据仓库的方法将数据集成成统一的数据格式并存储到中间数据库中。

在第三种可能实现的方式中，数据仓库的使用方法包括：

数据仓库使用update驱动的方法将来自多元异构数据库的数据提前进行处理和聚合，并将其存储在另一个独立的数据仓库中，数据仓库将数据复制、集成、注释、总结并重构到一个数据集市中。

在第四种可能实现的方式中，对数据进行转换包括以下方法：

通过聚类方法和回归方法进行平滑处理；

通过对数据进行总结或合计操作进行合计处理；

通过将属性数据按比例投射到特定范围之中进行规格化处理；

通过已有属性集构造新属性的进行属性构造处理。

在第五种可能实现的方式中，所述的合计处理具体包括：

每隔一段时间间隔进行某个采集点进行采集数据；

对采集的数据进行合计计算，得到该采集点的总额。