[发明专利]一种基于大数据的非结构化数据压缩处理系统及其方法

权利要求书

1.一种基于大数据的非结构化数据压缩处理系统，其特征在于包括数据采集模块、压缩比较模块、差量缓存模块、ExUDP模块和大数据存储分析平台，所述大数据存储分析平台包括数据接收模块、时间序列数据库、数据还原模块、数据分析/挖掘接口，所述数据采集模块、压缩比较模块、差量缓存模块、ExUDP模块、数据接收模块、时间序列数据库、数据还原模块、数据分析/挖掘接口依次单向数据传输。

2.根据权利要求1所述的一种基于大数据的非结构化数据压缩处理系统，其特征在于所述数据采集模块用于设定了数据结构体，所述数据采集模块中间包含所有需要监控的变量，所述数据采集模块每间隔一个单位时间ΔT，对每个所监控的变量采样得到当前帧，并与参考帧进行对比，计算出变化变量的差值，将所有的变化变量记录下Key值与变化量。

3.根据权利要求2所述的一种基于大数据的非结构化数据压缩处理系统，其特征在于所述差量缓存模块将每个变化量按顺序存储到一块内存空间M中、并记录下每个变化量的存储相对于该内存空间起点的Offset，接着将Offset与Key通过Hash函数做成一一对应的Hash表。

4.根据权利要求3所述的一种基于大数据的非结构化数据压缩处理系统，其特征在于所述ExUDP模块在应用层扩展UDP协议，所述ExUDP模块将Offset-Key Hash表及存储空间M通过ExUDP模块发送到大数据存储分析平台上。

5.根据权利要求4所述的一种基于大数据的非结构化数据压缩处理系统，其特征在于所述数据接收模块提用于将Offset-Key Hash表及存储空间M转存到时间序列数据库上的接口，所述数据接收模块将数据以帧为单位接收下来、并存储到时间序列数据库中。

6.根据权利要求5所述的一种基于大数据的非结构化数据压缩处理系统，其特征在于所述时间序列数据库用于实现按帧为单位的非结构化数据存储。

7.根据权利要求6所述的一种基于大数据的非结构化数据压缩处理系统，其特征在于所述数据还原模块以帧为单位从数据库中读取数据、并将其转化为流数据。

8.一种基于大数据的非结构化数据压缩处理方法，其特征在于步骤包括：

1)数据流的采集：数据生成结点以固定的速率A样本每秒在生成文本类非结构化数据，数据采集节点分布在各个数据生成结点上进行实时监测，以B样本每秒的采样速率对数据流进行监测采样，当数据以覆盖的形式生成时，B≥A，当数据以追加的形式生成时，B＜A，之后执行步骤2)；

2)数据的压缩：进行数据压缩处理时，以采样到的第一帧数据为基础样本，第二帧数据通过压缩比较模块，与第一帧数据进行比较，得出两帧数据上变化的变量，及相应变量的变化值，同理，在处理第N帧采样数据与第N-1帧采样数据时，比较两帧数据，得到变化值，之后执行步骤3)；

3)数据的存储：变量通过Hash算法，映射到固定内存空间中，将与变量对应的变化差值存储到相应的内存空间中，之后执行步骤4)；

4)数据的还原：进行数据还原时，从存储中取出第一帧数据做为参照系，然后将第二帧的变化变量表与变化量值表取出，将差量解出，叠加回到第一帧数据之上，同理，以还原出的第N-1帧数据为参考，将第N帧变化值叠加回第N-1帧，并将所有的数据按时间先后顺序排列，恢复出数据流。