[发明专利]数据同步方法、装置、设备及介质

说明书

本申请公开了一种数据同步方法、装置、设备及介质，涉及计算机技术领域，包括：利用通过预设同步任务配置平台配置的目标配置信息确定目标消息队列，并从所述目标消息队列中读取待同步源数据；基于所述目标配置信息判断是否需要为所述待同步源数据重新分配消息队列，若否则基于所述目标配置信息判断是否需要进行二方接口调用；若判定需要进行所述二方接口调用则确定相应的二方接口类型以及与所述待同步源数据对应的字段类型映射关系；基于所述二方接口类型和所述字段类型映射关系将所述待同步源数据存储至与所述待同步源数据对应的目标数据源。通过上述方案，能够在完成数据同步任务时降低成本并提高效率。

技术领域

本发明涉及计算机技术领域，特别涉及数据同步方法、装置、设备及介质。

背景技术

目前备份文件系统(即dump)在完成各个业务线中每一个数据同步任务(即dump任务)时，都需要对应业务线的开发人员对每一个数据同步任务编写对应的代码，即每一个数据同步任务都需要一个对应的代码，所以当数据同步任务比较多时，需要开发人员用大量时间编写代码，使得成本提高；当不同的数据同步任务需要调用相同接口时，依然每一次都需要编写对应的代码，以便将源数据写入ES(ElasticSearch)的目标数据源，因此造成重复代码的编写，使得效率降低。

综上可见，如何在完成数据同步任务时降低成本并提高效率是本领域有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据同步方法、装置、设备及介质，能够在完成数据同步任务时降低成本并提高效率。其具体方案如下：

第一方面，本申请公开了一种数据同步方法，包括：

利用通过预设同步任务配置平台配置的目标配置信息确定目标消息队列，并从所述目标消息队列中读取待同步源数据；

基于所述目标配置信息判断是否需要为所述待同步源数据重新分配消息队列，若否则基于所述目标配置信息判断是否需要进行二方接口调用；

若判定需要进行所述二方接口调用则确定相应的二方接口类型以及与所述待同步源数据对应的字段类型映射关系；

基于所述二方接口类型和所述字段类型映射关系将所述待同步源数据存储至与所述待同步源数据对应的目标数据源。

可选的，所述利用通过预设同步任务配置平台配置的目标配置信息确定目标消息队列之前，还包括：

通过所述预设同步任务配置平台基于获取的目标数据同步命令将待同步源数据的通用逻辑进行封装以得到封装后通用逻辑；

通过所述预设同步任务配置平台从所述封装后通用逻辑中提取与所述目标数据同步命令对应的目标可配置项，并基于所述目标数据同步命令对所述目标可配置项进行配置以得到目标配置信息。

可选的，所述通过所述预设同步任务配置平台从所述封装后通用逻辑中提取与所述目标数据同步命令对应的目标可配置项，并基于所述目标数据同步命令对所述目标可配置项进行配置以得到目标配置信息，包括：

若通过所述预设同步任务配置平台读取到所述目标数据同步命令包含预设服务编排配置命令，则通过所述预设同步任务配置平台提取所述封装后通用逻辑中的接口可配置项；

通过所述预设同步任务配置平台基于所述预设服务编排配置命令对所述接口可配置项进行配置以得到接口配置信息。

可选的，所述通过所述预设同步任务配置平台基于所述预设服务编排配置命令对所述接口可配置项进行配置以得到接口配置信息，包括：

通过所述预设同步任务配置平台基于所述预设服务编排配置命令对二方接口类型、接口地址、接口版本、接口别名、接口依赖信息、接口入参信息、所述接口入参信息的编排脚本以及接口调用顺序中任意一种或几种所述接口可配置项进行配置以得到接口配置信息。