[发明专利]一种基于面向对象的数据采集系统及采集方法

摘要

本发明公开了一种基于面向对象的数据采集系统及采集方法，涉及电力系统数据采集领域。目前，电能采集过程中出现的拓展性、复用性和灵活性方面不足。本发明包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；本技术方案采用分布式弹性架构设计，运用流处理、消息中间件、分布式存储与并行计算等技术，重构电力数据采集系统，从存储能力、计算性能、数据处理速度和智能分析等方面进行极大地提升，为支撑用电营销智能分析、服务业务创新、拓展专业应用和提高供电服务水平等方面提供了有力保障。

主权项

1.一种基于面向对象的数据采集系统，其特征在于：包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；网关集群，用于将采集设备接入电力数据采集系统，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载系统档案，降低程序对服务器内存配置要求；业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；海量数据分析模块，通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；数据存储模块，用于存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力。