[发明专利]反馈式匹配预测多级实时压缩系统及方法

权利要求书

1.一种反馈式匹配预测多级实时压缩系统，其特征在于，包括：全局模型和概率信息模块、局部模型模块、数据初级处理模块、匹配预测模块、模型更新模块、数据压缩模块、数据组织模块及数据存储模块；

所述全局模型和概率信息模块，用于存储全局性的模型和概率信息；

所述数据初级处理模块，用于接收外部输入数据，并根据全局性的模型和概率信息进行格式化处理；

所述局部模型模块，用于存储多个局部模型，供匹配预测模块使用；

所述匹配预测模块，根据数据初级处理、局部模型、全局模型和概率信息，对数据进行匹配预测，选择相应的局部模型和数据压缩模型；

所述模型更新模块，用于接收匹配预测模块处理的结果，更新或构建数据压缩模型，并将构建或更新的数据压缩模型反向更新到局部模型模块、全局模型和概率信息模块中，优化模型信息；

所述数据压缩模块，用于数据的压缩处理，其根据数据类型、概率统计信息、数据压缩模式、压缩效率，对数据进行压缩处理，并把各压缩模式的压缩效率、压缩时间、数据概率统计信息更新反馈到局部模型模块、全局模型和概率信息模块；

所述数据组织模块，用于排序、合并、组织压缩处理后的数据，为经各种压缩模式处理后的压缩数据添加头部和尾部信息，并将压缩后的数据基于时间顺序按结构化合并树方式进行组织处理；

所述数据存储模块，用于持久化处理，与外部存储系统或存储设备进行交互，将压缩数据持久化存储。

2.根据权利要求1所述的反馈式匹配预测多级实时压缩系统，其特征在于，所述全局性的模型和概率信息包括：全局数字模型、全局字符串模型、全局二进制块模型，以及各模型的概率统计信息和压缩模式信息；全局数字模型包括布尔型、八位整型、十六位整型、三十二位整型、六十四位整型、超大整型、单精度浮点型、双精度浮点型，以及各模型的概率统计信息和压缩模式信息；全局字符串模型包括字符串字典、各字符串出现最后时间、各字符串概率统计信息以及字符串压缩模式信息；全局二进制块模型包括二进制块大小、最后时间、概率统计、压缩模式信息；全局模型和概率信息模块为数据压缩提供全局性的支撑信息，全局模型和概率信息为持久化信息，可通过学习来优化全局模型和概率信息模型。

3.根据权利要求1所述的反馈式匹配预测多级实时压缩系统，其特征在于，所述数据初级处理模块，根据数据类型、死区设置、数据处理策略和时间间隔进行初级处理。

4.根据权利要求1所述的反馈式匹配预测多级实时压缩系统，其特征在于，所述数据组织模块用于数据排序、数据合并、数据组包，其将压缩后的数据基于时间顺序按结构化合并树方式进行组织。

5.根据权利要求1所述的反馈式匹配预测多级实时压缩系统，其特征在于，所述数据压缩模块采用ZigZag、Simple8b、RLE、算术编码、字典模型多种压缩模式对数据进行压缩处理。

6.一种反馈式匹配预测多级实时压缩方法，基于权利要求1-5中任意一项所述系统，其特征在于，步骤如下：

1）建立基于全局的配置库信息的模型信息和概率信息；

2）根据设备死区、数据处理策略、时间间隔以及所建立的模型信息，对数据进行合并压缩；

3）根据设备、时间间隔的时间信息进行数据冗余处理；

4）对多个局部模型进行匹配预测，成功则使用局部模型，否则抽取全局模块构建新的局部模型；

5）根据反馈信息更新全局模型和局部模型，并根据相应策略淘汰旧的局部模型；

6）根据局部模型对数据进行类型分析，根据不同的数据类型进行数据压缩；

7）对压缩处理后数据基于时间顺序按结构化合并树方式进行组织；

8）按顺序将上述组织处理后的数据写入存储设备或传给外部存储系统，进行存储。

7.根据权利要求6所述的反馈式匹配预测多级实时压缩方法，其特征在于，所述步骤6）中采用ZigZag、Simple8b、RLE、算术编码、字典模型的算法进行数据压缩。