[发明专利]一种数据存储方法及装置

权利要求书

1.一种数据存储方法，其特征在于，所述方法包括：

确定待存储数据的数据类型；

根据所述数据类型确定所述待存储数据对应的数据压缩格式；

基于所述对应的数据压缩格式对所述待存储数据进行压缩；

在压缩过程中，基于预设分割条件从所述待存储数据中分割出已压缩的数据，得到压缩数据；

将所述压缩数据存储到目标数据库。

2.根据权利要求1所述的方法，其特征在于，所述数据类型包括字符类型和非字符类型，所述数据压缩格式包括gunzip数据压缩格式和zlib数据压缩格式；

相应的，所述根据所述数据类型确定所述待存储数据对应的数据压缩格式包括：

当所述数据类型为字符类型时，确定所述待存储数据对应的数据压缩格式为gunzip数据压缩格式；

当所述数据类型为非字符类型时，确定所述待存储数据对应的数据压缩格式为zlib数据压缩格式。

3.根据权利要求1所述的方法，其特征在于，在基于预设分割条件从所述待存储数据中分割出已压缩的数据，得到压缩数据之前，所述方法还包括：

判断所述待存储数据是否为实时性数据；

当判断的结果为是时，确定所述预设分割条件为预设时间分割阈值。

4.根据权利要求3所述的方法，其特征在于，所述在压缩过程中，基于预设分割条件从所述待存储数据中分割出已压缩的数据，得到压缩数据包括：

在压缩过程中，判断当前的时间是否到达预设分割时间阈值；

当判断的结果为是时，从所述待存储数据中分割出已压缩的数据，得到压缩数据。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当判断的结果为否时，确定所述预设分割条件为预设大小分割阈值。

6.根据权利要求5所述的方法，其特征在于，所述在压缩过程中，基于预设分割条件从所述待存储数据中分割出已压缩的数据，得到压缩数据包括：

在压缩过程中，判断当前已压缩的数据的大小是否达到预设大小分割阈值；

当判断的结果为是时，从所述待存储数据中分割出已压缩的数据，得到压缩数据。

7.根据权利要求1所述的方法，其特征在于，在基于预设分割条件从所述待存储数据中分割出已压缩的数据，得到压缩数据之后，所述方法还包括：

确定所述压缩数据的标识信息；

将所述标识信息存储到压缩文件目录，以便所述目标数据库侧的存储服务器基于对所述压缩文件目录的扫描来确定是否存在待入库的数据。

8.根据权利要求7所述的方法，其特征在于，所述将所述压缩数据存储到目标数据库包括：

接收所述存储服务器在扫描到所述压缩文件目录中存在标识信息时，发送的数据入库请求；

将扫描到的标识信息所对应压缩数据发送给所述存储服务器，以便所述存储服务器存储到所述目标数据库。

9.根据权利要求1所述的方法，其特征在于，在基于预设分割条件从所述待存储数据中分割出已压缩的数据，得到压缩数据之前，所述方法还包括：

对所述待存储数据进行预处理，所述预处理至少包括下述之一：数据合并处理、数据拆分处理和脏数据删除处理；

相应的，所述基于所述对应的数据压缩格式对所述待存储数据进行压缩包括：基于所述对应的数据压缩格式对预处理后的待存储数据进行压缩处理。

10.一种数据存储装置，其特征在于，所述装置包括：

数据类型确定模块，用于确定待存储数据的数据类型；

数据压缩格式确定模块，用于根据所述数据类型确定所述待存储数据对应的数据压缩格式；

数据压缩处理模块，用于基于所述对应的数据压缩格式对所述待存储数据进行压缩；

数据分割处理模块，用于在压缩过程中，基于预设分割条件从所述待存储数据中分割出已压缩的数据，得到压缩数据；

数据存储模块，用于将所述压缩数据存储到目标数据库。