[发明专利]数据存储系统、方法、装置、设备以及存储介质

权利要求书

1.一种数据存储系统，包括：

用户终端，配置于：

在文件写入时，将文件顺序地写入分布式文件系统，以及将文件的元信息注册到元信息服务器；

在文件读取时，从元信息服务器中获取待读取文件的元信息，以及根据获取到的待读取文件的元信息从所述分布式文件系统读取所述待读取文件；

元信息服务器，配置于存储文件的元信息，其中，所述文件的元信息包含文件的键值范围；

分布式文件系统，配置于存储用户终端写入的文件；

还包括：

触发器，配置于：接收到所述元信息服务器传递的待压缩文件的元信息；根据所述元信息中的文件的键值范围的排序信息，确定所述元信息的多个子元信息集合；生成对对应于所述多个子元信息集合的文件进行压缩的多个子任务；将所述多个子任务传递至消息队列；

消息队列，配置于存储所述多个子任务，以及将所述多个子任务传递给压缩器；

压缩器，配置于执行所述多个子任务，其中，文件的结构为日志结构的合并树，文件分为新生、成熟、终态三个阶段，文件的每两个阶段中间用中间态来标识文件正在进行压缩。

2.根据权利要求1所述的系统，所述文件的键包括文件的版本信息。

3.根据权利要求1所述的系统，所述压缩器还包括：

文件过期模块，配置于执行文件过期；

垃圾回收模块，配置于执行垃圾文件回收。

4.根据权利要求1所述的系统，所述文件包括多种年龄特征，所述触发器进一步配置于：

在将所述多个子任务传递至消息队列之前，将所述多个子任务对应的文件的年龄属性标记为中间态。

5.根据权利要求1-4任一项所述的系统，所述文件为面向搜索引擎的结构化数据。

6.一种数据存储的方法，包括：

在文件写入时，将文件顺序地写入分布式文件系统，以及将文件的元信息注册到元信息服务器；

在文件读取时，从元信息服务器中获取待读取文件的元信息，以及根据获取到的待读取文件的元信息从所述分布式文件系统读取所述待读取文件，其中，所述文件的元信息包含文件的键值范围；

还包括：

接收到所述元信息服务器传递的待压缩文件的元信息；根据所述元信息中的文件的键值范围的排序信息，确定所述元信息的多个子元信息集合；生成对对应于所述多个子元信息集合的文件进行压缩的多个子任务；

存储所述多个子任务；

执行所述多个子任务，其中，文件的结构为日志结构的合并树，文件分为新生、成熟、终态三个阶段，文件的每两个阶段中间用中间态来标识文件正在进行压缩。

7.一种数据存储的装置，包括：

写入模块，被配置为在文件写入时，将文件顺序地写入分布式文件系统，以及将文件的元信息注册到元信息服务器；

读取模块，被配置为从元信息服务器中获取待读取文件的元信息，以及根据获取到的待读取文件的元信息从所述分布式文件系统读取所述待读取文件，其中，所述文件的元信息包含文件的键值范围；

还包括：

压缩模块，被配置为：

接收到所述元信息服务器传递的待压缩文件的元信息；根据所述元信息中的文件的键值范围的排序信息，确定所述元信息的多个子元信息集合；生成对对应于所述多个子元信息集合的文件进行压缩的多个子任务；

存储所述多个子任务；

执行所述多个子任务，其中，文件的结构为日志结构的合并树，文件分为新生、成熟、终态三个阶段，文件的每两个阶段中间用中间态来标识文件正在进行压缩。

8.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求6所述的方法。

9.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求6所述的方法。