[发明专利]一种基于面向对象的数据采集系统及采集方法

说明书

本发明公开了一种基于面向对象的数据采集系统及采集方法，涉及电力系统数据采集领域。目前，电能采集过程中出现的拓展性、复用性和灵活性方面不足。本发明包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；本技术方案采用分布式弹性架构设计，运用流处理、消息中间件、分布式存储与并行计算等技术，重构电力数据采集系统，从存储能力、计算性能、数据处理速度和智能分析等方面进行极大地提升，为支撑用电营销智能分析、服务业务创新、拓展专业应用和提高供电服务水平等方面提供了有力保障。

技术领域

本发明涉及电力系统数据采集领域，尤其涉及一种基于面向对象的数据采集系统及采集方法。

背景技术

目前采集系统的通信协议因各种拓展而很不统一，导致电能采集通信过程中增加了大量不必要的规约转换工作，对实现互操作带来了困难，严重制约了未来智能电网下电量信息的高度智能化应用。同时，传统的通信协议主要是面向业务的数据型协议，对于电能采集中日趋多样化的采集任务需求，在其拓展性、复用性和灵活性方面逐渐显现出一些不足。

在采集数据时，传统1376.1规约下只允许按照已有规则进行数据采集，例如日冻结正向有功总电能量，必须通过规定的0DF005编码去采集，电能采集过程中出现的拓展性、复用性和灵活性方面不足。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于面向对象的数据采集系统及采集方法，以达到提高拓展性、复用性和灵活性的目的。为此，本发明采取以下技术方案。

一种基于面向对象的数据采集系统，包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；

网关集群，用于将采集设备接入电力数据采集系统，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；

通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载系统档案，降低程序对服务器内存配置要求；

业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，

数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；

入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；

海量数据分析模块，通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；

数据存储模块，用于存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力。