[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

分别获取日志存储系统中每个日志流对应的多条日志记录；

确定每个日志流对应的逻辑存储空间；其中，所有日志流对应的逻辑存储空间属于一个日志文件；

针对每个日志流，将该日志流对应的所述多条日志记录进行聚合处理，得到该日志流对应的日志块；

将各个所述日志流对应的日志块存储到所述日志文件中；

确定每个日志块的第二标识符，并用所述第二标识符标识每个日志块；

接收需要写入的新的日志块；

确定所述新的日志块所属的目标日志流；

确定所述日志存储系统中已存的所述目标日志流对应的日志块中的最大的第二标识符；

若所述新的日志块的第二标识符小于所述最大的第二标识符，则，将所述日志存储系统中已存的所述目标日志流对应的日志块中的第二标识符大于和等于所述新的日志块的第二标识符的日志块设置为失效状态；或者，

若所述新的日志块的第二标识符大于所述最大的第二标识符，则，将所述日志存储系统中已存的所述目标日志流对应的日志块中设置为失效状态。

2.根据权利要求1所述的数据处理方法，其特征在于，所述确定每个日志流对应的逻辑存储空间，包括：

为每个日志流分别设置用于标识该日志流的逻辑存储空间的第一标识符；

将每个日志流、每个日志流对应的第一标识符和每个日志流对应的逻辑存储空间分别建立映射关系；

所述将各个所述日志流对应的日志块存储到所述日志文件中，包括：

获取每个所述日志流对应的第一标识符；

针对每个日志流，用该日志流的第一标识符标识该日志流对应的每条日志记录。

3.根据权利要求1所述的数据处理方法，其特征在于，所述将各个所述日志流对应的日志块存储到所述日志文件中，包括：

将各个日志流对应的日志块进行聚合处理，得到日志包；

将所述日志包存储到所述日志文件中。

4.根据权利要求1所述的数据处理方法，其特征在于，还包括：

针对每条日志记录，基于该日志记录在该日志记录所属日志流中的生成次序，确定该日志记录的第三标识符；

利用所述第三标识符标识对应的日志记录。

5.一种数据处理装置，其特征在于，包括：

日志获取模块，用于分别获取日志存储系统中每个日志流对应的多条日志记录；

存储确定模块，用于确定每个日志流对应的逻辑存储空间；其中，所有日志流对应的逻辑存储空间属于一个日志文件；

存储模块，用于针对每个日志流，将该日志流对应的所述多条日志记录进行聚合处理，得到该日志流对应的日志块；将各个所述日志流对应的日志块存储到所述日志文件中；确定每个日志块的第二标识符，并用所述第二标识符标识每个日志块；接收需要写入的新的日志块；确定所述新的日志块所属的目标日志流；确定所述日志存储系统中已存的所述目标日志流对应的日志块中的最大的第二标识符；若所述新的日志块的第二标识符小于所述最大的第二标识符，则，将所述日志存储系统中已存的所述目标日志流对应的日志块中的第二标识符大于和等于所述新的日志块的第二标识符的日志块设置为失效状态；或者，若所述新的日志块的第二标识符大于所述最大的第二标识符，则，将所述日志存储系统中已存的所述目标日志流对应的日志块中设置为失效状态。

6.根据权利要求5所述的数据处理装置，其特征在于，所述存储确定模块在确定每个日志流对应的逻辑存储空间时，用于：

为每个日志流分别设置用于标识该日志流的逻辑存储空间的第一标识符；

将每个日志流、每个日志流对应的第一标识符和每个日志流对应的逻辑存储空间分别建立映射关系；

所述存储模块在将各个所述日志流对应的日志块存储到所述日志文件中时，用于：

获取每个所述日志流对应的第一标识符；

针对每个日志流，用该日志流的第一标识符标识该日志流对应的每条日志记录。