[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据处理方法、装置、计算机设备和存储介质，计算机设备在检测到数据源中有数据待同步时，根据预设的配置关系，确定与数据源匹配的读插件；配置关系中包括数据源与读插件的对应关系，以及目的库与写插件的对应关系；然后调用读插件，通过读插件读取数据源中的目标数据；并确定目标数据对应的目的库；最后，调用与目的库匹配的写插件，通过写插件将目标数据同步至目的库。采用上述方法可以将待同步数据实时同步至目的库中，而不需要批量处理，提升了数据处理的实时性，并降低对网络的消耗。

技术领域

本申请涉及数据库技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

随着网络的兴起与飞速发展，产生了大量的信息和数据，用科学的方法去整理数据成为迫切需要解决的问题。将不同数据源的数据进行整合，可以打通企业内部数据孤岛，实现数据流转，从而实现从不同视角对企业经营各方面信息的精确分析和准确判断。

传统技术中，计算机设备主要通过数据仓库技术(Extract-Transform-Load，简称ETL技术)从各个业务系统中抽取数据，并对数据进行清洗转换，过滤掉不符合要求的数据，例如不完整的数据、错误的数据或者重复的数据，然后将数据加载到数据仓库中，实现将企业中的分散、零乱、标准不统一的数据整合到一起。

但是，随着数据规模的扩大，以及数据变化速度提升，计算机设备采用上述方法无法感知业务系统中数据的实时变化，不能满足实时业务场景的需求。

发明内容

基于此，有必要针对上述技术问题，提供一种数据处理方法、装置、计算机设备和存储介质。

一种数据处理方法，上述方法包括：

在检测到数据源中有数据待同步时，根据预设的配置关系，确定与数据源匹配的读插件；配置关系中包括数据源与读插件的对应关系，以及目的库与写插件的对应关系；

调用读插件，通过读插件读取数据源中的目标数据；

确定目标数据对应的目的库；

调用与目的库匹配的写插件，通过写插件将目标数据同步至目的库。

在其中一个实施例中，上述配置关系中还包括在数据源中待提取的目标数据的数据类型，以及数据类型与目的库的对应关系；

通过读插件读取数据源中的目标数据，包括：

基于目标数据的数据类型，通过读插件读取数据源中的目标数据；

确定目标数据对应的目的库，包括：

基于目标数据的数据类型，确定与目标数据对应的目的库。

在其中一个实施例中，上述方法还包括：

将目标数据经过第一级内存缓存进行缓存；

根据目的库的阻塞状态，将第一级内存缓存中缓存的目标数据写入第二级内存缓存或者文件缓存；

通过写插件将目标数据同步至目的库，包括：

通过写插件，将第二级内存缓存或者文件缓存中缓存的目标数据同步至目的库。

在其中一个实施例中，上述将第一级内存缓存中缓存的目标数据写入第二级内存缓存或者文件缓存，包括：

将第一级内存缓存中缓存的目标数据缓存至消息发布系统；

根据目的库的阻塞状态，从消息发布系统中获取目标数据并写入第二级内存缓存或者文件缓存。

在其中一个实施例中，上述根据目的库的阻塞状态，从消息发布系统中获取目标数据并写入第二级内存缓存或者文件缓存，包括：