[发明专利]业务数据确定方法、装置、设备及存储介质

权利要求书

1.一种业务数据确定方法，其特征在于，所述方法包括：

获取目标业务数据对应的数据类型和数据加工方式；其中，所述数据加工方式通过用户需求确定；

基于所述数据类型和所述数据加工方式，生成Spark SQL表达式；

基于所述Spark SQL表达式，从多个数据源的原始业务数据中确定目标业务数据；

所述基于所述数据类型和所述数据加工方式，生成Spark SQL表达式，包括：

基于所述数据类型和所述数据加工方式，生成数据列加工表达式；

基于所述数据列加工表达式，生成Spark SQL表达式；

所述基于所述数据列加工表达式，生成Spark SQL表达式，包括：

获取所述原始业务数据的数据结构信息；

基于所述数据加工方式，更新所述数据结构信息，得到更新后数据结构信息；

基于所述更新后数据结构信息和所述数据列加工表达式，生成Spark SQL表达式；

所述基于所述Spark SQL表达式，从多个数据源的原始业务数据中确定目标业务数据之前，包括：

获取数据连接信息；

基于所述数据连接信息，连接多个数据源，并基于预设查找方式从所述多个数据源中确定多个目标数据块；

从所述多个目标数据块中抽取原始业务数据。

2.如权利要求1所述的方法，其特征在于，所述获取数据连接信息，包括：

接收配置指令，并基于所述配置指令，生成数据连接信息；

其中，所述配置指令是用户基于多个数据源的数据源类型给出的。

3.如权利要求1所述的方法，其特征在于，所述从所述多个目标数据块中抽取原始业务数据，包括：

获取与所述多个目标数据块对应的关联字段；

基于所述关联字段，建立与所述多个目标数据块之间的关联关系；

基于所述关联关系，从所述多个目标数据块中抽取原始业务数据。

4.如权利要求1至3中任一项所述的方法，其特征在于，所述基于所述Spark SQL表达式，从多个数据源的原始业务数据中确定目标业务数据，包括：

获取多个数据源的原始业务数据对应的临时视图；

基于所述Spark SQL表达式，从所述临时视图中确定目标业务数据。

5.一种业务数据确定装置，其特征在于，所述业务数据确定装置包括：

第一获取模块，用于获取目标业务数据对应的数据类型和数据加工方式；其中，所述数据加工方式通过用户需求确定；

生成模块，用于基于所述数据类型和所述数据加工方式，生成Spark SQL表达式；

第一确定模块，用于基于所述Spark SQL表达式，从多个数据源的原始业务数据中确定目标业务数据；

所述生成模块还用于：

基于所述数据类型和所述数据加工方式，生成数据列加工表达式；

基于所述数据列加工表达式，生成Spark SQL表达式；

所述生成模块还用于：

获取所述原始业务数据的数据结构信息；

基于所述数据加工方式，更新所述数据结构信息，得到更新后数据结构信息；

基于所述更新后数据结构信息和所述数据列加工表达式，生成Spark SQL表达式；

所述业务数据确定装置还包括：

第二获取模块，用于获取数据连接信息；

连接模块，用于基于所述数据连接信息，连接多个数据源，并基于预设查找方式从所述多个数据源中确定多个目标数据块；

抽取模块，用于从所述多个目标数据块中抽取原始业务数据。

6.一种业务数据确定设备，其特征在于，所述业务数据确定设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的业务数据确定程序，所述业务数据确定程序被所述处理器执行时实现如权利要求1至4中任一项所述的业务数据确定方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有业务数据确定程序，所述业务数据确定程序被处理器执行时实现如权利要求1至4中任一项所述的业务数据确定方法的步骤。