[发明专利]多源异构数据处理方法和装置、电子设备和存储介质

说明书

本申请提供了一种多源异构数据处理方法和装置、电子设备和存储介质，方法包括：获取待处理多源异构数据处理脚本；对待处理多源异构数据处理脚本进行切割，直到得到最小单元的目标代码段；获取目标代码段被任一数据库执行成功后返回的处理结果；将处理结果写入至目标代码段在待处理多源异构数据处理脚本的原始位置，替换掉目标代码段，得到重组脚本；对重组脚本重复执行切割以及对待处理多源异构数据处理脚本内目标代码段的替换，直到重组脚本不可切割，得到对多源异构数据处理脚本处理的目标结果。本申请解决了在对多源异构数据处理时存在占用较多存储资源以及技术实现时对技术人员的专业能力要求过高的问题。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种多源异构数据处理方法和装置、电子设备和存储介质。

背景技术

随着企业数据量的暴增以及数据结构的多样化，数据分析面临着更多复杂的问题。原始业务数据分散在多个异构数据库中存储，不同的数据应用场景对分析结果查询有不同的性能要求，多源、异构是大数据处理面临的主要难题。而目前流行的大数据处理平台在针对多源异构数据处理时通常采用分步走的方式，将多源异构数据处理脚本拆分为任务流程的多个执行节点，数据转化为同源数据后再进行数据处理和计算。

这种方案虽然也可以得到计算结果，但是每个节点在执行后都需要将结果固化到中间库中才能保障完整的流程执行和输出结果，而事实上用户并不需要中间数据，但这部分数据又往往比最终的计算结果占用了更大的存储资源。与此同时将脚本拆分为多个执行节点并编排成任务流程除了要求数据开发工程师熟悉各种数据组件的操作外还要求他们熟知各个业务数据的存储和平台资源的分配，这是对数据开发工程的更高要求。

因此，相关技术在对多源异构数据处理时存在占用较多存储资源以及技术实现时对技术人员的专业能力要求过高的问题。

发明内容

本申请提供了一种多源异构数据处理方法和装置、电子设备和存储介质，以至少解决相关技术在对多源异构数据处理时存在占用较多存储资源以及技术实现时对技术人员的专业能力要求过高的问题。

根据本申请实施例的一个方面，提供了一种多源异构数据处理方法，该方法包括：

获取待处理多源异构数据处理脚本，其中，待处理多源异构数据处理脚本中包含一种或多种数据库语言；

对所述待处理多源异构数据处理脚本进行切割，直到得到最小单元的目标代码段，其中，所述目标代码段能够被至少一种数据库执行；

获取所述目标代码段被任一数据库执行成功后返回的处理结果；

将所述处理结果写入至所述目标代码段在所述待处理多源异构数据处理脚本的原始位置，替换掉所述目标代码段，得到重组脚本；

对所述重组脚本重复执行切割以及对所述待处理多源异构数据处理脚本内所述目标代码段的替换，直到所述重组脚本不可切割，得到处理的目标结果。

根据本申请实施例的另一个方面，还提供了一种多源异构数据处理装置，该装置包括：

第一获取模块，用于获取待处理多源异构数据处理脚本，其中，待处理多源异构数据处理脚本中包含一种或多种数据库语言；

切割模块，用于对所述待处理多源异构数据处理脚本进行切割，直到得到最小单元的目标代码段，其中，所述目标代码段能够被至少一种数据库执行；

第二获取模块，用于获取所述目标代码段被任一数据库执行成功后返回的处理结果；

替换模块，用于将所述处理结果写入至所述目标代码段在所述待处理多源异构数据处理脚本的原始位置，替换掉所述目标代码段，得到重组脚本；

得到模块，用于对所述重组脚本重复执行切割以及对所述待处理多源异构数据处理脚本内所述目标代码段的替换，直到所述重组脚本不可切割，得到处理的目标结果。

可选地，切割模块包括：

识别单元，用于识别所述待处理多源异构数据处理脚本内的切割依据对象，其中，所述切割依据对象包含每种数据库语言关键字和符号；