[发明专利]基于工业云边服务的数仓系统

权利要求书

1.一种基于工业云边服务的数仓系统，其特征在于，包括数据采集模块、中间件模块、数据分层模块、离线数仓模块和实时数仓模块，其中，所述数据采集模块用于采集工业数据，所述中间件模块用于接收所述工业数据并将其传输至所述数据分层模块，所述数据分层模块用于对接收到的所述工业数据进行处理，并将处理后的所述工业数据分别持久化到所述离线数仓模块和所述实时数仓模块中，此外，所述离线数仓模块映射所述实时数仓模块中的数据，其中，

所述工业数据包括工业业务数据和工业设备数据，并且所述工业设备数据存储于RabbitMQ集群，所述数据采集模块包括Flume-Decode-Interceptor拦截器和Flume-RabbitMQ-Plugin插件，所述Flume-Decode-Interceptor拦截器用于解密所述工业业务数据以采集所述工业业务数据，所述Flume-RabbitMQ-Plugin插件用于对所述工业设备数据RabbitMQ集群进行采集，其中，

所述Flume-Decode-Interceptor拦截器定义实现Interceptor接口，所述Flume-RabbitMQ-Plugin插件定义实现Configurable接口和EventDrivenSource接口，具体地，

所述Flume-Decode-Interceptor拦截器实现对工业业务系统的HTTP消息数据进行采集，即实现对工业业务系统的HTTP消息数据加解密功能，因此，在开发Flume-Decode-Interceptor拦截器时，自定义Flume-Decode-Interceptor拦截器实现Interceptor接口，并且在initialize方法中读取非对称加密私钥，还在intercept单条event处理方法中通过读取的非对称加密私钥对工业业务系统的HTTP消息数据进行解密并序列化为JSON，然后在intercept批量event处理方法中循环调用intercept单条event处理方法，最后将Flume-Decode-Interceptor拦截器打包放入Flume根目录的lib文件夹下，以在启动Flume任务时，通过Flume-Decode-Interceptor拦截器对工业业务系统的HTTP消息数据进行采集；

所述Flume-RabbitMQ-Plugin插件实现RabbitMQSource功能，而RabbitMQSource继承了AbstractSource抽象类实现Configurable接口和EventDrivenSource接口，因此，在开发Flume-RabbitMQ-Plugin插件时，自定义Flume-RabbitMQ-Plugin插件实现Configurable接口和EventDrivenSource接口，并且在configure方法中初始化RabbitMQ集群连接，还在start方法中使用多线程消费RabbitMQ集群数据，最后将Flume-RabbitMQ-Plugin插件打包放入Flume根目录的lib文件夹下，以在启动Flume任务时，通过Flume-RabbitMQ-Plugin插件对工业设备数据进行采集。

2.根据权利要求1所述的基于工业云边服务的数仓系统，其特征在于，所述中间件模块为消息中间件Kafka。

3.根据权利要求2所述的基于工业云边服务的数仓系统，其特征在于，所述数据分层模块包括数据原始层、数据明细层、数据聚合层和数据集市层，其中，所述数据原始层、所述数据明细层和所述数据聚合层分别连接到所述离线数仓模块，所述数据集市层连接到所述实时数仓模块。

4.根据权利要求3所述的基于工业云边服务的数仓系统，其特征在于，所述数据分层模块对接收到的所述工业数据进行处理，具体包括：

采用Flink Sql创建流表消费接收到的所述工业数据；

根据不同分层逻辑将消费处理后的所述工业数据依次写入所述数据原始层、所述数据明细层、所述数据聚合层和所述数据集市层，其中，

在所述数据原始层、所述数据明细层和所述数据聚合层中的数据写下一分层时，所述数据原始层、所述数据明细层和所述数据聚合层中的数据将持久化到所述离线数仓模块，所述数据集市层中的数据将持久化到所述实时数仓模块。