[发明专利]一种数据转存方法、装置、电子设备及存储介质

权利要求书

1.一种数据转存方法，其特征在于，应用于主数据转存设备，所述主数据转存设备是通过预设的读写锁竞争方式，若确定获得读写锁后，从数据转存设备集群中确定出的，包括：

确定待读取数据的数据来源方的服务名，从预设数据库中查找获取所述服务名对应的当前记录的索引值，其中，所述预设数据库用于记录各服务名对应的索引值，所述索引值用于指示从所述服务名对应的第一存储系统中开始读取数据的位置；

根据所述索引值，从所述服务名对应的第一存储系统中读取数据；

满足预设条件时，将读取的数据写入分布式文件系统中；其中，所述第一存储系统和所述分布式文件系统属于不同的存储系统。

2.如权利要求1所述的方法，其特征在于，所述从预设数据库中查找获取所述服务名对应的当前记录的索引值，具体包括：

判断所述服务名是否记录在数据库中，若是，则获取所述数据库中所述服务名对应的当前记录的索引值，否则，确定索引值的取值为0；其中，所述数据库中记录有服务名与索引值的映射关系。

3.如权利要求1所述的方法，其特征在于，所述满足预设条件，具体包括：

判断距上一次写入所述分布式文件系统的时间间隔是否达到了预设时间阈值，和/或，读取的数据的条数是否达到了预设数目阈值，若任一判断为是，则确定满足预设条件，若均判断为否，则确定不满足预设条件。

4.如权利要求1所述的方法，其特征在于，所述将读取的数据写入分布式文件系统中，具体包括：

将读取的数据分别写入所述分布式文件系统中生成的增量文件中和全量文件中；其中，增量文件为用于存储当前读取的数据的文件，全量文件为用于存储所有累积读取的数据的文件。

5.如权利要求4所述的方法，其特征在于，所述方法进一步包括：

关闭所述增量文件，并生成所述增量文件对应的可读done文件，其中，done文件表示可读文件。

6.如权利要求5所述的方法，其特征在于，所述方法进一步包括：

按照预设周期，关闭所述全量文件并删除预设时间段内的增量文件和done文件。

7.如权利要求2所述的方法，其特征在于，所述将读取的数据写入分布式文件系统中之后，进一步包括：

判断是否持有读写锁，若是，则根据所述索引值和读取的数据的条数，确定新的索引值，并根据所述新的索引值更新所述数据库中所述服务名对应的索引值，若否，则通过预设的读写锁竞争方式，重新竞争读写锁。

8.一种数据转存装置，其特征在于，应用于主数据转存设备，所述主数据转存设备是通过预设的读写锁竞争方式，若确定获得读写锁后，从数据转存设备集群中确定出的，包括：

获取模块，用于确定待读取数据的数据来源方的服务名，从预设数据库中查找获取所述服务名对应的当前记录的索引值，其中，所述预设数据库用于记录各服务名对应的索引值，所述索引值用于指示从所述服务名对应的第一存储系统中开始读取数据的位置；

读取模块，用于根据所述索引值，从所述服务名对应的第一存储系统中读取数据；

写入模块，用于满足预设条件时，将读取的数据写入分布式文件系统中；其中，所述第一存储系统和所述分布式文件系统属于不同的存储系统。

9.如权利要求8所述的装置，其特征在于，所述从预设数据库中查找获取所述服务名对应的当前记录的索引值时，所述获取模块具体用于：

判断所述服务名是否记录在数据库中，若是，则获取所述数据库中所述服务名对应的当前记录的索引值，否则，确定索引值的取值为0；其中，所述数据库中记录有服务名与索引值的映射关系。

10.如权利要求8所述的装置，其特征在于，所述将读取的数据写入分布式文件系统中时，所述写入模块具体用于：

将读取的数据分别写入所述分布式文件系统中生成的增量文件中和全量文件中；其中，增量文件为用于存储当前读取的数据的文件，全量文件为用于存储所有累积读取的数据的文件。