[发明专利]一种多专业、大容量实时数据采集方法

说明书

技术领域

本发明应用于大型工业高耗能企业能源管控系统，也可以应用于企业信息管理系统，为一种跨专业、大容量实时数据采集方法。

背景技术

能源管控系统，即Energy Management System（简称EMS），是企业信息化系统的一个重要组成部分，它的主要功能是实现能源系统分散的数据采集和控制、集中的管理调度和能源供需平衡，以及实现所需能源预测，为在生产全过程中实现较好的节能、降耗和环保的目标创造条件，即对生产能源数据进行采集、加工、分析、处理，以实现对能源设备、能源实绩、能源计划、能源平衡、能源预测等全方位的监控和管理功能，达到企业节能增效的目的。十二五规划中，在“制造业发展重点方向”上，着重提出“重点推广能源管控系统技术和高温高压干熄焦、余热综合利用、烧结烟气脱硫等节能减排技术”，希望通过能源管控系统的实施，推进企业系统性综合节能减排技术，充分利用二次能源，减少污染物的排放，提高企业经济效益，实现企业精细化管理。

能源管控系统涉及的子系统比较多，包括电力远动机、DCS系统、PLC系统等，由于各个子系统分布在全厂各处，且数据采集点比较多，因此能源中心需要与各个子系统建立数据通信。目前普遍的通讯方法有三种形式：（1）由能源中心的IO服务器同时与子系统建立通讯链路，这种方法需要IO服务器上具有子系统的数据驱动；（2）不少DCS系统提供了OPC接口，通过OPC服务器对下集中采集子系统数据，并转发给能源中心IO服务器；（3）在子站位置部署采集网关设备，对下采集子系统数据，对上统一转发给能源中心IO服务器，这种方式与第（2）种方式的区别是采用了硬件网关设备，对上转发不一定采用OPC方式，支持常用的通信协议，如DNP、Modbus等。为达到高冗余度和高可靠性，在IO服务器侧，需要处理多个IO服务器对下的通讯方式。现有的资料显示，虽然现在有考虑到冗余性的数据通信方法，但是还是存在一定的缺陷，原因如下：

第一、IO服务器虽然采用冗余配置，但是在单个IO服务器上运行的任务并没有根据集群中各服务器负载状况合理调度，没有实现负载均衡，从而导致在数据量大的时候，服务器负载比较重；

第二、对于一个子系统的通讯，为保证可靠性，往往在所有IO服务器都建立通讯链路，这样一方面消耗了服务器端的资源，另外一方面也增加了子系统通讯的负担。而没有根据IO服务器的状态统一调度，由一个IO服务器与子系统通信，如果发生故障，通信自动切换到另外一台服务器上，实现通道按口值班；

第三、通讯协议插件更新不方便，需要停止所有在运行通道，无法实现在线更新，这对于能源管控系统影响很大。

基于以上分析，目前需要一种效果较好的数据采集方法，本案由此产生。

本发明涉及的名词定义如下：

节点：与IO服务器同一概念，指集群中的一员。

通道：表示一条数据通讯链路。包括网络链路层、应用层数据交互和处理。

发明内容

本发明的目的，在于提供一种多专业、大容量实时数据采集方法，其可提高通讯的冗余度和可靠性，并通过多个流水线并行模式，大大提高数据交互的吞吐能力。

为了达成上述目的，本发明的解决方案是：

一种多专业、大容量实时数据采集方法，将大型SCADA系统的数据采集子系统功能部署在N台IO服务器上，N为大于1的自然数，采用1主(N-1)热备冗余模式，组成数据采集服务器集群，综合考虑各个数据采集任务的约束条件和服务器状态，动态调整任务在各服务器上运行的优先级，将其分配到优先级最高的服务器上并行运行；通讯协议采用软插件形式实例化成“车间流水线”上的“工人”，各条“流水线”采用多线程和多进程相结合方式并行，提高数据的吞吐能力和通讯可靠性。

上述数据采集服务器集群的工作方式是：数据采集应用在集群中各IO服务器上同时部署，一台IO服务器值班，其余的IO服务器备用；IO服务器之间通过网络心跳报文来实时监测彼此的状态，网络心跳报文正常采用UPD方式发送，在出现异常时，采用TCP方式发送；每台IO服务器上都有一个系统信息库，实时保存集群中个节点的状态和参数；一台IO服务器故障时，在其上面运行的所有任务都会被自动分配到其它服务器上。

根据以下调度策略分配IO服务器的数据采集任务；根据数据采集任务在IO服务器上的初始优先级，结合该任务在该IO服务器上中断的次数和时间，以及当前的运行状态，自动调节任务在该IO服务器上的优先级，并根据优先级决定任务部署在哪个IO服务器。