[发明专利]一种数据转存方法、装置、电子设备及存储介质

说明书

本发明涉及互联网技术领域，尤其涉及一种数据转存方法、装置、电子设备及存储介质，确定待读取数据的数据来源方的服务名，从预设数据库中查找获取服务名对应的当前记录的索引值；根据索引值，从服务名对应的第一存储系统中读取数据；满足预设条件时，将读取的数据写入第二存储系统中；其中，所述第一存储系统和所述第二存储系统属于不同的存储系统，这样，可以统一记录各服务名对应的索引值，根据当前记录的索引值，从相应的第一存储系统中读取数据，并直接写入第二存储系统中，不需要先存入本地磁盘，降低写入本地磁盘的风险，并可以适用于任意服务名的第一存储系统，不需要单独进行开发，可扩展性强，提高了效率，降低了成本。

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据转存方法、装置、电子设备及存储介质。

背景技术

目前，在互联网搜索业务中，多个第三方服务会将自己的网页数据推送给搜索服务提供方进行收录。搜索服务提供方通常将接收到的数据采用消息队列(Message Queue，mq)形式缓存起来或者永久存储，以供技术人员使用。技术人员在对数据进行处理时，例如数据排序时，通过使用hadoop进行计算，而Hadoop不支持mq，因此需要从mq中读取数据，并将读取的数据上传到hdfs中，然后才能从hdfs中拉取数据进行处理。

现有技术中，将mq中数据转存到hdfs的方法，通常是由技术人员独立编写代码，从mq读数据存入本地磁盘，然后再上传到hdfs，但是，这种方式，每个使用数据的技术人员都需要自己编写代码，效率较低，并且写入本地磁盘容易出现时延或写入失败的问题，并且由于不同格式的数据，只能存储在不同的mq中，因此针对不同格式的数据，需要开发不同的转存工具，维护和开发成本较高，可扩展较差。

发明内容

本发明实施例提供一种数据转存方法、装置、电子设备及存储介质，以解决现有技术中数据转存效率较低、风险较高，并且可扩展性差的问题。

本发明实施例提供的具体技术方案如下：

本发明一个实施例提供了一种数据转存方法，包括：

确定待读取数据的数据来源方的服务名，从预设数据库中查找获取所述服务名对应的当前记录的索引值，其中，所述预设数据库用于记录各服务名对应的索引值；

根据所述索引值，从所述服务名对应的第一存储系统中读取数据；

满足预设条件时，将读取的数据写入第二存储系统中；其中，所述第一存储系统和所述第二存储系统属于不同的存储系统。

结合本发明的一个实施例，所述方法进一步包括：

通过预设的读写锁竞争方式，若确定获得读写锁，则确定开始执行所述确定待读取数据的数据来源方的服务名的步骤。

结合本发明的一个实施例，所述从预设数据库中查找获取所述服务名对应的当前记录的索引值，具体包括：

判断所述服务名是否记录在数据库中，若是，则获取所述数据库中所述服务名对应的当前记录的索引值，否则，确定索引值的取值为0；其中，所述数据库中记录有服务名与索引值的映射关系。

结合本发明的一个实施例，所述满足预设条件，具体包括：

判断距上一次写入所述第二存储系统的时间间隔是否达到了预设时间阈值，和/或，读取的数据的条数是否达到了预设数目阈值，若任一判断为是，则确定满足预设条件，若均判断为否，则确定不满足预设条件。

结合本发明的一个实施例，所述将读取的数据写入第二存储系统中，具体包括：

将读取的数据分别写入所述第二存储系统中生成的增量文件中和全量文件中；其中，增量文件为用于存储当前读取的数据的文件，全量文件为用于存储所有累积读取的数据的文件。

结合本发明的一个实施例，所述方法进一步包括：