[发明专利]一种基于大数据技术的海量时序数据收集处理装置及方法

摘要

一种基于大数据技术的海量时序数据收集处理装置及方法，包括数据采集装置、数据收集装置、数据中心服务器，其中数据收集装置分别与数据采集装置和数据中心服务器连接，可以快速、高效、及时地处理海量实时数据，同时保证设备安全、稳定、高效地运行。

主权项

1.一种利用基于大数据技术的海量时序数据收集处理装置的海量时序数据收集处理方法，其中大数据技术的海量时序数据收集处理装置包括数据采集装置、数据收集装置、数据中心服务器，其中数据收集装置分别与数据采集装置和数据中心服务器连接，其特征在于：数据采集装置，用于实时或准实时获取用户用电监测数据，并将采集到的用户用电监测数据传输给数据收集装置；数据收集装置，包括多个数据收集中心，用于运用大数据存储和传输技术，在采集点和数据中心服务器之间构建实时的跨层级的数据收集，通过采用流式传输机制依次通过底层的数据收集中心向上传送数据，整个多层收集网络支持跨层级和同层级的线性扩展；其中多个数据收集中心为构成N层模型，其中每一层分别包括M1，M2，…，MN个子数据收集中心，第N层的每2个子数据收集中心的输出结果作为第N‑1层子数据收集中心的输入，不断地执行迭代计算，最终得出第1层的计算结果；数据收集中心，用于以流式接入的方式接收来自数据采集装置中实时发送的用户用电监测数据和以批量接入的方式，通过预定义的调度计划自动获取数据采集装置中的常规的设备台账数据和历史数据，并存储在数据中心服务器中；数据中心服务器，用于利用大数据传输技术，将数据收集中心处理后台账数据，历史数据和指标数据进行存储；其特征在于，依次包括如下步骤：(1)初始化，设置数据采集装置的初始参数，根据设置好的初始参数控制监测传感器的采样周期为每小时15次，采样时间为7天，将7天内采样的数据求平均值A；(2)在同样的初始参数条件下，重复步骤(1)5次，分别求得5次的平均值，删除5次中平均值最大和最小的两个数值，其余3次的平均值记为B、C、D；(3)令令P'为数据采集装置的实时测量数值，则：A.如果则数据采集装置性能稳定，进入步骤(4)；B.如果则数据采集装置性能不稳定，则进入步骤(1)；(4)实时或准实时获取用户用电监测数据，并将采集到的用户用电监测数据推送到数据收集装置，然后以推送的方式，直接推送到数据中心服务器中，或者以流式输出的方式将用户用电监测数据输出至数据收集中心；(5)以批量接入的方式，通过预定义的调度计划自动获取数据中心服务器中的常规台账数据和历史数据，将设备台账数据和历史数据以预处理规则进行数据的清洗、过滤、转换的预处理,并将预处理后的数据输出至数据中心服务器进行存储；(6)将监测数据、常规的设备台账数据，以及历史指标数据、模型元数据和预处理规则数据集中缓存到数据中心服务器中的内存器；(7)通过数据收集中心计算处理过程中的计算引擎驱动调度引擎来调用和接收数据采集装置或数据中心服务器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，将经过计算单元处理后的数据回传到数据中心服务器。