[发明专利]一种工业互联网设备实时数据采集与存储方法及系统

说明书

本发明提供一种工业互联网设备实时数据采集与存储方法及系统，属于设备数据采集技术领域，通过封装一种以上的设备协议并形成协议池，以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；再将转换后的数据，以消息推送的方式发送到消息队列；最后拉取消息队列数据，将取出的设备数据，根据配置信息，存储到不同的时序数据库集群。可减少软件系统硬件投入成本。松耦合、易扩展的特点，可快速实现新协议的接入和系统扩容。

技术领域

本发明涉及设备数据采集技术，尤其涉及一种工业互联网设备实时数据采集与存储方法及系统。

背景技术

传统设备数据采集软件难以满足工业互联网云模式下百万级设备在线同时采集并发要求和海量工业数据存储需求。

现有设备数据采集监控软件，一般应用在工业现场局域网环境中，设备连接种类、数量较少。接入协议方面，连接工业设备一般采用Modbus等传统工业现场协议，采集软件需要开启线程主动定时轮询设备状态。

数据存储方面，一般采用关系型数据库。这种传统架构，消耗线程资源较多、效率较低，软件开启的后台线程数制约连接设备数量，关系数据库不能满足海量工业数据存储的要求。

在工业互联网场景下，需要对这两方面进行优化。

发明内容

为了解决以上技术问题，本发明提出了一种工业互联网场景下，松耦合、易扩展的设备数据采集与存储方法，可减少因设备协议不一致导致的大量重复业务代码编写，大量设备接入导致系统负载过高、海量工业时序数据存储的难题。

本发明的技术方案是：

一种工业互联网设备实时数据采集与存储方法，

主要包括三个步骤：

1)封装一种以上的设备协议并形成协议池，以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；

2)接收步骤1)转换后的数据，以消息推送的方式发送到消息队列；

3)拉取消息队列数据，将取出的设备数据，根据配置信息，存储到不同的时序数据库集群。

进一步的，内置协议池以开发扩展新协议，协议池对外部程序提供统一的服务启动、连接、监听以及回调接口；

新协议的开发需要实现根据设备接入协议的实现相关逻辑，完成协议的对接和数据的各种转换。

进一步的，使用kafak或Rabbit MQ作为分布式消息队列系统；将步骤1)转换的标准数据报文格式，发送到Kafka消息队列。

进一步的，采用自动拉取消息队列数据的方式处理数据，当上一次取出的数据处理完后，再到消息队列中取出数据进行消费。

写入数序数据库采用时序数据库提供的设备协议；与每个时序数据库仅建立一个通讯连接，每次写入数据复用这个连接，不再新建连接的方式。针对每一个时序数据库，开启不同的任务队列，实现设备数据异步批量写入；

当满足系统设置的“每次最大发送数据点数”或者“最大提交间隔”时，触发写入事件，来自不同设备的实时数据按照批次发送至数据库进行保存。

此外，为解决工业互联网场景下，工业设备数据采集面临的设备协议标准多、异构数据复杂导致平台架构不具备通用性以及传统工业现场数据采集软件难以满足大量设备接入平台后高并发、低延迟、高可用与传统架构难以支撑海量时序数据存储的难题，本发明还提供了一种工业互联网设备实时数据采集与存储系统，主要包括三个部分：接入装置、转换装置、存储装置，其中，

接入装置，封装一种以上的设备协议以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；