[发明专利]一种基于云端的流数据存储系统及其查询方法

说明书

技术领域

本发明涉及一种工业自动化领域，尤其涉及一种工业自动化流数据的云端存 储系统以及查询方法。

背景技术

伴随着工业4.0的浪潮，制造业的信息化水平越来越高，在工业自动化生产 过程中会相应的产生海量的实时数据，这些数据即是流数据。流数据的持续产生， 海量，实时的特性，使得这类数据的存储以及查询异常困难。采用本地化的关系 型数据进行处理，会大大延迟数据查询的速度以及存储的数据量。针对此问题， 国内外开始了大量的研究。比较传统的做法是在本地采用实时数据库或者实时数 据库与关系型数据库集成的做法解决此问题。但是在工业互联网时代显然本地的 数据无法发挥其数据的真正价值。另外一种做法是以单独的流数据处理系统对数 据文件进行管理从而达到流数据实时处理的效果。这种方法大部分用在消费级互 联网领域，而且需要强大的服务器体系做支撑，在工业领域，数据的产生会量远 远超过消费级的数据量，而且数据一般只有在某一段时间内算是实时数据，超过 这一时间段即是历史数据，而且目前尚未出现巨大的服务器体系。因此采用一种 将实时数据与历史数据进行区分存储处理，可以在满足用户查询历史数据的基础 上，大大减小流数据处理系统的压力。

发明内容

为了解决流数据的实时查询问题，以及本地存储量有限的问题技术问题，本 发明提出了一种基于云端的流数据处理系统及其存储方法，可以解决流数据的实 时查询问题，以及本地存储量有限的问题，而且将流数据中实时数据与历史数据 进行区分，可以有效的对数据进行存储以及处理，既可以减小服务器体系的成本， 又可以达到实时数据快速查询的效果。

本发明提出了一种基于云端的流数据存储系统，包括物联网层，云端，网关， 所述的物联网层与云端物理连接，所述的物联网采集工业自动化生产过程中产生 的流数据，并传输到云端；所述的云端包括流数据处理系统、控制器和关系型数 据库，所述的云端中的流数据处理系统存储接收到的流数据，并存储为历史数据； 所述的控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且 从流数据库中将这些数据删除。

优选地，所述的流数据处理系统采用HDFS分布式文件存储系统与Impala平 台相结合的数据处理系统。

本发明又提出一种基于云端的流数据存储系统的查询方法，包括如下步骤：

S1.窗口显示类显示实时流数据；

S2.客户端的应用层通过服务端发送数据查询请求；

S3.控制器根据不同的查询的请求从数据库中查询不同的数据；

S4.控制器将查询到的数据发送给数据查询类；

S5.数据查询类将数据传送至数据类；

S6.数据类根据用户的动作显示实时数据或者历史数据。

优选地，步骤S4包括：如果客户端向流数据类发送查询请求，控制器通过流 数据库查询实时数据，如果客户端向历史数据类发送查询请求，控制器通过操作 关系型数据库查询历史数据。

本发明的技术方案具有以下技术效果：

1.云端存储可以无限存储工业自动化生产过程中的各种数据；

2.可以实现快速查询流数据；

3.可以实现远程在线监控；

4.实现远程数据分析；

5.实时数据以及历史数据有效整合。

附图说明

图1为本发明的基于云端的流数据存储系统的示意图；

图2为本发明的基于云端的流数据存储系统的查询方法示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例是本发明一部分实施例，而不是全部的实施例。

工业自动化生产过程中，会产生大量的实时数据，称为流数据，要进行云端 流数据的实时查询，需要解决存储以及查询两个方面的问题。在工业领域只有距 离当前时刻某一时段的数据才能称为实时数据，超过这一时间段的数据统一称之 为历史数据。