[发明专利]用于分布式对象存储系统的数据获取方法及系统

说明书

本发明公开了一种用于分布式对象存储系统的数据获取方法及系统。其中，该方法包括：按照预设规则，向服务器发送第一请求，其中，第一请求用于请求获取分布式对象存储系统中第一元数据子表的数据；接收服务器返回的第一元数据子表的数据；依序发送用于请求其他元数据子表的数据的第二请求，并接收服务器返回的数据，直到服务器返回结束标记。本发明解决了在获取大量数据时，资源利用率低的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种用于分布式对象存储系统的数据获取方法及系统。

背景技术

分布式对象存储是目前解决海量数据存储问题的主要方案,为了满足数据管理的需求，分布式对象存储系统一般都会提供遍历功能给用户，通过该遍历功能可以获取系统中所存储的文件或对象的元数据。一个典型的实现方法就是：预先建立大量元数据子表，这些元数据子表被存储在系统中的不同节点(如存储设备)上，以免单个节点上存储的数据量超过系统中单个存储设备的上限；根据特定的规则将元数据分散到不同的元数据子表中去，其中，元数据子表内部的数据是有序的，元数据子表之间是无序的。在该方案中，完全被屏蔽了客户端对元数据子表的感知，当进行列表List操作时，系统将从所有元数据子表中拉取数据，并进行归并排序，将拉取结果发送给客户端。在上述方案中，因为数据量庞大，在拉取数据之后，对其进行排序，而不是在单个查询内就返回给客户端全量的数据，在该有序的条件下，客户端可以根据上次查询的最后一个数据来确定一个标记，然后让系统从那个标记之后继续返回数据。

但是，上述方法在全量遍历的时候，为了存储海量数据的元数据，会需要大量的元数据子表，对大量的元数据子表进行查询并归并排序相当耗时，而且可能需要重复大量的无用排序。比如，系统中有N个元数据子表，用户客户端一次只能接收Y条记录。当客户端需要遍历所有记录时，过程就会是这样：客户端先向系统发出一次List操作(限定返回Y条记录)，系统是向N个元数据子表中的每一个元数据子表查询前Y条记录，对这N*Y条记录排序，返回Y条记录，然后把剩下的(N-1)*Y条记录丢弃，即浪费比例高达(N-1)/N。客户端会用这样的方式遍历所有记录。对元数据进行遍历，是日常运维过程中常用的操作(如主备文件比对、文件清理等)，所以这样的低效操作方案对集群的规模扩展产生很大限制。在进行遍历操作时，可选的，使用排序的方案，通过该方案可以保证返回的数据列表的全局顺序，但是，该方案极大地消耗了内部带宽、内存或CPU，获取数据的效率低。

针对上述在获取大量数据时，资源利用率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种用于分布式对象存储系统的数据获取方法及系统，以至少解决在获取大量数据时，资源利用率低的技术问题。

根据本发明实施例的一个方面，提供了一种用于分布式对象存储系统的数据获取方法，包括：按照预设规则，向服务器发送第一请求，其中，所述第一请求用于请求获取分布式对象存储系统中第一元数据子表的数据；接收所述服务器返回的所述第一元数据子表的数据；依序发送用于请求其他元数据子表的数据的第二请求，并接收所述服务器返回的数据，直到服务器返回结束标记。

进一步地,所述预设规则包括：当向服务器发送的第一请求中不包含元数据子表编号时，则表示所述第一请求需要对元数据子表数据进行跨子表排序；当向服务器发送的第一请求中包含元数据子表编号时，则表示所述第一请求无需对元数据子表数据进行跨子表排序。

进一步地,依序发送用于请求其他元数据子表的数据的第二请求，并接收所述服务器返回的数据，直到服务器返回结束标记包括：向所述服务器发送第P个第二请求，其中，所述P为大于1的自然数；接收所述服务器基于所述第P个第二请求返回的元数据子表的数据；在对所述元数据子表的数据执行预定操作之后，向所述服务器发送第(P+1)个第二请求，直至获取到全部元数据子表中的数据。