[发明专利]一种数据读取的方法及装置

说明书

一种数据读取的方法及装置，该方法包括接入服务层在读取数据过程中接收到客户端请求读取的数据集合开始搬迁的通知消息时，暂停读取数据集合中剩余的数据并记录用于标识在数据集合中最后成功读取的数据的位置信息，在接收到数据集合搬迁完成的通知时，根据数据集合的标识，确定数据集合新的存储位置，在新的存储位置上继续读取位于最后成功读取的数据之后的剩余数据。通过在客户端请求读取的数据集合搬迁完成后再根据最后成功读取的数据的标识从数据集合新的存储位置上继续读取位于最后成功读取的数据之后的剩余数据，可以使得在一次读数据请求中返回所有请求读取的数据，而不会出现因读取失败导致重新发起一次读数据请求的情况。

技术领域

本发明实施例涉及存储技术领域，尤其涉及一种数据读取的方法及装置。

背景技术

目前在对象存储服务系统中，元数据用于描述存储的数据的一些属性，例如描述存储的数据的存储位置、存储数据的大小等信息。存储的数据与元数据一般是分离存储的，这样可以针对各自不同的特点选用不同的存储介质和管理方式，以加快读取和列举等速度。例如，数据的大小是由用户决定的，系统除了限制一定的范围，其大小并不可控；而元数据是由系统生成的，其大小和结构可以自定义，甚至可以灵活地选用结构化、关系型数据库来存储。

在向对象存储系统中写入一个对象(该对象包括待存储的数据和根据该数据确定的元数据)时，一般分为两个过程，先保存待存储的数据，再根据待存储的数据的一些特征生成一份元数据并保存。

在读一个已经存储的对象时流程恰好相反，一般是先读存储的对象的元数据，根据读取的元数据获取数据的存储位置等基本信息后，再从底层存储系统中对应的存储位置上读取出数据返回给用户。

为了提高底层存储系统的利用率，通常会将一个文件中包括的多个待存储的数据穿插存储在不同的存储空间上，即一个存储空间上存储的多个数据可能归属于不同的数据。这样，当用户请求删除一个文件时，可能会造成某一个存储空间上出现大量离散的空白存储区域，由于这些空白存储区域太过离散，不是连续的，无法再容纳一个较大的存储对象，如果能够将这一存储空间上剩下的有效数据块搬迁至另一个新的空白空间上，则之前的存储空间上可以形成大量的连续空白存储空间，可以继续容纳新的数据。

如图1所示，某一个存储空间上存储了数据1到数据5，之后用户发起了请求删除了数据2、数据4，会造成这一存储空间上出现了离散的空白空间。一般情况下，这些离散的空白空间是很难再被利用的，当再写入新的存储对象时，不可能重新扫描之前存储空间是否有合适的空白空间，这在时间上是不允许的。因此，一般需要进行数据搬移处理，即将有效的数据1、数据3和数据5搬移到新的存储空间上，经过数据搬迁后，就可以空出一块空白空间继续容纳新的数据。

在完成底层存储系统的数据搬迁后，相应地需要更新被搬移的数据对应的元数据，以记录搬移后的数据的存储位置。如果在更新元数据之前或更新元数据的过程中，用户发起了读数据请求，则有可能出现因找不到数据而读失败的情景。如图2所示，虚线箭头表示的数据搬迁任务，例如一个待读取的对象由3个数据组成。此时用户发起了读取数据的请求，在通过读取旧的元数据得知数据1、数据2和数据3的存储位置后，开始读取数据1，并将读取的数据1返回给用户。在尝试读取数据2时，此时数据1、数据2和数据3已从旧存储空间移至新存储空间，并且旧存储空间被系统回收了，系统会认为数据丢失异常，即使在原来存储位置不停的重试，在重试多次后，最终也会向用户返回读取失败的信息。

由于读取失败后，需要用户重新发起一个全新的读数据请求，才能读取到新的元数据，进而根据新的元数据才能到搬移后的存储空间中重新读取数据1、数据2和数据3，这种情况不适合有高可靠性要求的系统，特别是在底层存储系统中数据搬迁较为频繁而前台有大量并发读取的场景下，读取失败率更会显著提高。

发明内容

本发明实施例提供一种数据读取的方法及装置，可以解决数据搬迁与用户读取数据并发场景下读取失败的问题。