[发明专利]一种基于面向对象的数据采集系统及采集方法

权利要求书

1.一种基于面向对象的数据采集系统，其特征在于：包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；

网关集群，用于将采集设备接入电力数据采集系统，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；

通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载系统档案，降低程序对服务器内存配置要求；

业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，

数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；

入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；

海量数据分析模块，通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；

数据存储模块，用于存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力；

A)节点新增/扩容时的分发策略为：

A01)对每个业务处理器节点所分配的Topic按照Topic编码进行排序，并计算该节点当前处理的Topic总数；

A02)对业务处理器节点根据Topic总数进行排序；

A03)计算每个业务处理器节点能处理Topic的平均值，Topic总数除以业务处理器节点总数；

A04)将节点中Topic数量大于AvgTopic的所有业务处理器节点的多余Topic取出，取出规则：A05)优先选择步骤A02）排序较大的业务处理器节点中Topic编码较大的Topic；

A06)将步骤A04）中取出的Topic优先分配给新增的业务处理器节点，使新增节点的Topic数约平均值；若仍有未分配的Topic则对所有节点进行取模分配；

A07)其他节点中删除被分配走的Topic信息；

B)节点故障时的分发策略为：

B01)对前置业务处理器节点按照Topic数量进行排序；

B02)Topic总数除以当前运行的前置业务处理器节点总数，得到当前运行的每个业务处理器节点处理Topic的平均值；

B03)根据平均值计算当前运行的每个业务处理器节点可新增的Topic数量：由b计算得的均值-现有的Topic数；

B04)将因节点故障引起的待分发Topic按照节点新增/扩容时的分发策略的计算值依次分发给排序小的业务处理器节点；

C)故障节点恢复时分发策略为：

C01)恢复的业务处理器节点按照初始化时的分配策略加载对应的Topic；

C02)从其他业务处理器节点定时删除这些被归还给恢复节点的Topic信息。