[发明专利]数据压缩模型训练方法及装置、存储介质

权利要求书

1.一种数据压缩模型训练方法，其特征在于，所述方法包括：

读取设定大小的数据块；

分析在所述数据块中增加冗余的可能性，具体为：利用RGA分析在数据的几个较小部分中增加冗余的可能性；

确定在所述数据块中生成冗余数据的函数的索引号，所述函数为RGA函数，该RGA函数用于负责通过操作数据块来生成冗余，该操作将增加某个数据块中重复值的数量；

采用所述索引号对应的函数在所述数据块中生成冗余数据，以获得超出现有可能性的压缩比。

2.根据权利要求1所述的方法，其特征在于，所述分析在所述数据块中增加冗余的可能性，包括：

根据所述数据块的数据类型，分析在所述数据块中增加冗余的可能性。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

生成第一热图，所述第一热图包括在所述数据块中冗余的m位长的高值数字，m为正整数。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述冗余数据存储在所述数据块中。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据概率预测算法，预测压缩的数据块的数量。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对设定数量的数据块进行压缩，所述数据块来源于一个或多个文件；

生成第二热图，所述第二热图包括在所述数据块中的n位长的高值数字，n∠m，n为正整数。

7.根据权利要求1、2、4～6中任一项所述的方法，其特征在于，所述方法还包括：

当检测到包含冗余数据的数据块不适合永久存储，则删除所述包含冗余数据的数据块。

8.一种数据压缩模型训练装置，其特征在于，所述装置包括：

读取单元，用于读取设定大小的数据块；

分析单元，用于分析在所述数据块中增加冗余的可能性，具体为：利用RGA分析在数据的几个较小部分中增加冗余的可能性；

确定单元，用于确定在所述数据块中生成冗余数据的函数的索引号，所述函数为RGA函数，该RGA函数用于负责通过操作数据块来生成冗余，该操作将增加某个数据块中重复值的数量；

第一生成单元，用于采用所述索引号对应的函数在所述数据块中生成冗余数据，以获得超出现有可能性的压缩比。

9.一种数据压缩模型训练装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～7中任一项所述的方法。