[发明专利]基于压缩、分割技术的物联网大数据传输中间件

说明书

技术领域

本发明涉及一种传输中间件，尤其涉及一种基于压缩、分割技术的物联网大数据传输中间件。

背景技术

目前大部分的物联网终端的数据由采集工具采集后，都是直接发送或调用接口发送到后台处理服务，进行数据的存储和处理，这种方式在面向海量的终端数据时，传输效率较低，会极大的占用网络带宽资源和耗费大量的传输时间，尤其是在广域网环境下，这种资源占用和时间耗费更是巨大的，即使部分先进的系统采用了压缩技术，但是也只是最简单的数据压缩，并未达到一个很好的效率，同时也仅仅是针对部分特殊的需求或自己系统定制性开发的，并不具备通用性。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于压缩、分割技术的物联网大数据传输中间件。

本发明通过以下技术方案来实现上述目的：

本发明包括压缩组件和分割组件，所述压缩组件通过zlib压缩算法进行运行，所述分割组件将海量数据中具有共性的数据进行相应的分割处理，提取共性的数据和非共性的数据，分别传输；通过XML配置参数，达到通用化的分割，提供原始数据的XML信息管理和分割参数的XML信息管理，系统通过配置相关的XML信息后，将数据提交给组件处理，组件根据相关的XML配件文件，进行相应的分割操作，形成分割后的数据，数据通过分割后，提取了共性数据，所有的共性数据传输一个样例即可，后调用相应的传输接口进行数据传输，传输接口收到相关数据后，通过分割组件将共性数据与非共同性数据进行组装还原，得到原始的传输数据，之后再进行相应的处理逻辑。

进一步，所述压缩组件通过数据发送端将原始数据发送至压缩组件压缩，压缩后的数据通过发送节点利用网络传输发送至接收节点，后将压缩后的数据发送至压缩组件解压，恢复为原始数据进行存储处理后储存在数据库内。

进一步，所述分割组件通过数据发送端将原始数据发送至分割组件分割，分割后的数据通过发送节点利用网络传输发送至接收节点，后将分割后的数据发送至分割组件还原，恢复为原始数据进行存储处理后储存在数据库内。

本发明的有益效果在于：

本发明通过本专利的压缩、分割之后的数据量，根据数据的类型不同，较以往的数据传输方式数据量减少在30％～70之间；通过对数据的有效分割，之后对数据进行分别传输或者压缩传输，较以往完整的传输可以有效的减少数据的传输理，尤其是针对批量有规律和共性的数据，减少的数据传输量将是巨大的。

附图说明

图1是本发明所述基于压缩、分割技术的物联网大数据传输中间件的结构示意图；

图2是本发明所述压缩组件的流程结构示意图；

图3是本发明所述分割组件的流程结构示意图；

图4是本发明所述压缩与分割的综合应用的流程结构示意图；

具体实施方式

下面结合附图对本发明作进一步说明：

如图1、图2和图3所示：本发明包括压缩组件和分割组件，所述压缩组件通过zlib压缩算法进行运行，所述分割组件将海量数据中具有共性的数据进行相应的分割处理，提取共性的数据和非共性的数据，分别传输；通过XML配置参数，达到通用化的分割，提供原始数据的XML信息管理和分割参数的XML信息管理，系统通过配置相关的XML信息后，将数据提交给组件处理，组件根据相关的XML配件文件，进行相应的分割操作，形成分割后的数据，数据通过分割后，提取了共性数据，所有的共性数据传输一个样例即可，后调用相应的传输接口进行数据传输，传输接口收到相关数据后，通过分割组件将共性数据与非共同性数据进行组装还原，得到原始的传输数据，之后再进行相应的处理逻辑，所述压缩组件通过数据发送端将原始数据发送至压缩组件压缩，压缩后的数据通过发送节点利用网络传输发送至接收节点，后将压缩后的数据发送至压缩组件解压，恢复为原始数据进行存储处理后储存在数据库内，所述分割组件通过数据发送端将原始数据发送至分割组件分割，分割后的数据通过发送节点利用网络传输发送至接收节点，后将分割后的数据发送至分割组件还原，恢复为原始数据进行存储处理后储存在数据库内。

本发明的工作原理如下：

如图2所示，压缩组件通过封装压缩算法zlib，提供压缩和解压缩的功能，系统通过调用组件功能来实现相应的压缩和解压缩功能。系统数据先经由压缩组件进行压缩操作，生成压缩后的数据，通过传输通道，传输到接收端，接收端收到数据后，经由压缩组件进行解压缩操作，得到原始的数据再进行处理。压缩组件在使用过程中，系统只需要调用相应的组件接口，传入相应的数据即可以得到压缩后的数据或解压后的数据。