[发明专利]业务数据确定方法、装置、设备及存储介质

说明书

本申请公开了一种业务数据确定方法、装置、设备及存储介质，该方法包括步骤：获取目标业务数据对应的数据类型和数据加工方式；基于所述数据类型和所述数据加工方式，生成Spark SQL表达式；基于所述Spark SQL表达式，从多个数据源的原始业务数据中确定目标业务数据。本申请实现了通过Spark SQL表达式统一加工多个数据源的原始业务数据，而无需采用多个方法或函数来加工该原始业务数据，从而降低了加工处理多个数据源的数据时的成本。

技术领域

本申请涉及数据处理领域，尤其涉及一种业务数据确定方法、装置、设备及存储介质。

背景技术

随着信息技术的高速发展，计算机网络技术的广泛应用，越来越多的数据被沉淀、存储了下来。通常，这些海量且繁杂的数据往往是一个企业乃至行业最为宝贵的财富，因此，从不断加速产生的大量数据中攫取有价值的信息，发现和创造新的商业机会成为了各行各业领导者所追求的目标，然而，陈旧的历史数据与新的业务数据或者与当前业务需求之间往往存在一定的差异，如何将现有的数据抽取并加工成适应当前业务需求的数据，是分析历史数据的重要前提。

目前，从数据源获取数据的手段为：采用对应数据源提供的原生的处理方法或函数对数据进行加工处理。然而，在面对数据源为多个的情况时，由于不同的数据源面对同种加工处理的需求，所需要采用的方法或函数基本不相同，导致加工处理多个数据源的数据时的成本极大。

发明内容

本申请的主要目的在于提供一种业务数据确定方法、装置、设备及存储介质，旨在解决现有的如何降低加工处理多个数据源的数据时的成本的技术问题。

为实现上述目的，本申请提供一种业务数据确定方法，所述业务数据确定方法包括步骤：

获取目标业务数据对应的数据类型和数据加工方式；

基于所述数据类型和所述数据加工方式，生成Spark SQL表达式；

基于所述Spark SQL表达式，从多个数据源的原始业务数据中确定目标业务数据。

可选地，所述基于所述数据类型和所述数据加工方式，生成Spark SQL表达式，包括：

基于所述数据类型和所述数据加工方式，生成数据列加工表达式；

基于所述数据列加工表达式，生成Spark SQL表达式。

可选地，所述基于所述数据列加工表达式，生成Spark SQL表达式，包括：

获取所述原始业务数据的数据结构信息；

基于所述数据加工方式，更新所述数据结构信息，得到更新后数据结构信息；

基于所述更新后数据结构信息和所述数据列加工表达式，生成Spark SQL表达式。

可选地，所述基于所述Spark SQL表达式，从多个数据源的原始业务数据中确定目标业务数据之前，包括：

获取数据连接信息；

基于所述数据连接信息，连接多个数据源，并基于预设查找方式从所述多个数据源中确定多个目标数据块；

从所述多个目标数据块中抽取原始业务数据。

可选地，所述获取数据连接信息，包括：

接收配置指令，并基于所述配置指令，生成数据连接信息；

其中，所述配置指令是用户基于多个数据源的数据源类型给出的。

可选地，所述从所述多个目标数据块中抽取原始业务数据，包括：

获取与所述多个目标数据块对应的关联字段；