[发明专利]一种适用于互联网应用的时序数据处理系统

说明书

本发明涉及一种适用于互联网应用的时序数据处理系统，属于时序数据处理技术领域。该系统包括数据采集模块、实时库、时序库、实时计算模块、实时推送模块和点位管理模块等结构。本发明基于开源技术实现了时序数据的采集、运算、存储、分发以及查询统计等功能，能运行于Windows和Linux等主流操作系统，支持分布式架构，能有效降低系统建设成本，特别适合互联网应用的场景。

技术领域

本发明属于时序数据处理技术领域，具体涉及一种适用于互联网应用的时序数据处理系统。

背景技术

随着互联网+和工业互联网等概念的提出和落地，互联网技术进入了新的发展阶段。互联网信息技术与传统产业的深度融合，有助于优化生产要素、更新业务体系、重构商业模式，推动经济的转型和升级。诸如生产制造和能源环保等传统产业中存在大量的时序数据需要处理，互联网信息技术与传统产业深度融合的过程中，必然面临着时序数据处理的要求。

时序数据包含实时数据和历史数据两种类型。随时间变化的实时数据通常存储在实时库中，实时数据的历史（历史数据）通常存储在时序库中。关系数据库虽然具有理论完备、标准化程度高、支持事务处理等优点，但是这种数据库主要面向事务处理类型的应用场景，并不适合作为实时库或者历史库使用。

传统的实时库和时序库主要运用于工业控制领域。此类实时库和时序库通常使用厂家的专有技术、只能运行于特定的操作系统、技术体系复杂、功能扩展比较困难、对外接口不灵活、对分布式运算环境不友好、价格比较高。互联网应用通常采用分布式架构，强调技术的开放性，注重快速创新能力。显而易见，传统的实时库和时序库并不适用于互联网应用场景。因此如何克服现有技术的不足是目前时序数据处理技术领域亟需解决的问题。

发明内容

本发明的目的是为了解决现有技术的不足，提供一种适用于互联网应用的时序数据处理系统。

为实现上述目的，本发明采用的技术方案如下：

一种适用于互联网应用的时序数据处理系统，包括数据采集模块、实时库、时序库、实时计算模块、实时推送模块和点位管理模块：

数据采集模块，分别与点位管理模块、外部设备、实时库相连，用从点位管理模块获得点位的数据采集协议和地址，按照数据采集协议和地址从外部设备采集点位的实时数据，并通过实时库的接口将实时数据发送到实时库进行存储和分发；

实时库，与实时数据推送模块相连，用于存储实时数据，还用于通过实时数据推送模块将实时数据推送到浏览器；

时序库，与实时数据推送模块、浏览器相连，用于存储历史数据并提供查询和统计接口；

实时计算模块，与实时库相连，用于周期性地由实时库读取点位的实时数据进行计算处理，并将计算结果通过实时库提供的读写接口写回实时库中。

实时推送模块，与浏览器相连，用于向浏览器推送点位的实时数据；所述实时推送模块采用基于主题的发布订阅模式进行推送；浏览器首先向所述实时推送模块订阅实时数据的主题；当实时库由数据采集模块或者实时计算模块收到点位最新的实时数据时，会将该数据发送给所述实时推送模块；所述实时推送模块从点位管理模块获取该点位对应的主题列表，然后在这些主题上通过WebSocket向浏览器推送点位最新的实时数据；

点位管理模块，用于管理实时库点位的基本信息，并将其管理的点位划分为多个主题，每个点位可以属于一个或者多个主题。

进一步，优选的是，数据采集协议包括工业控制协议、物联网协议和电力规约。

进一步，优选的是，外部设备包括PLC、DCS、电力终端设备、物联网设备和物联网网关。

进一步，优选的是，实时库采用开源的Berkeley DB JE作为存储引擎；BerkeleyDB JE采用键值存储数据，因此所述实时库在读写Berkeley DB JE时将会完成对象和键值之间的转换。