[发明专利]一种数据处理方法、装置、电子设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取针对业务数据的数据格式信息；

将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到针对所述业务数据的作业配置模板；

根据所述作业配置模板，导出大数据ETL作业配置文件；所述大数据ETL作业配置文件用于配置针对所述业务数据的ETL作业操作。

2.根据权利要求1所述的方法，其特征在于，所述数据格式信息包括数据接口信息；所述将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到针对所述业务数据的作业配置模板，包括：

将所述数据接口信息输入预先配置的数据处理工具，由所述数据处理工具对所述数据接口信息进行配置，得到数据接口配置信息；所述数据接口配置信息为用于从所述业务数据中选择多张数据表进行组合，或选择多个分区和/或分桶字段进行组合的配置信息。

3.根据权利要求2所述的方法，其特征在于，所述数据格式信息还包括接口列表信息；所述将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到针对所述业务数据的作业配置模板，还包括：

将所述接口列表信息输入所述数据处理工具，由所述数据处理工具对所述接口列表信息进行配置，得到接口列表配置信息；所述接口列表配置信息为用于对所述业务数据进行数据权限控制，或过滤所述业务数据中的无效数据的配置信息。

4.根据权利要求3所述的方法，其特征在于，所述接口列表信息包括用于配置接口的信息；所述数据处理工具包括贴源层配置模块；所述将所述接口列表信息输入所述数据处理工具，由所述数据处理工具对所述接口列表信息进行配置，得到可用接口列表配置信息，包括：

将用于配置接口的信息导入贴源层配置模块，由所述贴源层配置模块接口导出贴源层配置信息；所述贴源层配置信息包括针对外表进行数据加载的配置信息、针对内表进行数据加工的配置信息、数据质量管理配置信息、数据获取配置信息、接口导出配置信息中的至少一种。

5.根据权利要求4所述的方法，其特征在于，所述接口列表信息包括用于配置数据模型的信息；所述数据处理工具包括共性加工层配置模块；所述将所述接口列表信息输入所述数据处理工具，由所述数据处理工具对所述接口列表信息进行配置，得到可用接口列表配置信息，还包括：

将用于配置数据模型的信息导入共性加工层配置模块，由所述共性加工层配置模块接口导出共性加工层配置信息；所述共性加工层配置信息包括数据共性加工配置信息和接口结构配置信息中的至少一种。

6.根据权利要求5所述的方法，其特征在于，所述接口列表信息包括用于接口订阅的信息；所述数据处理工具包括接口订阅管理配置模块；所述将所述接口列表信息输入所述数据处理工具，由所述数据处理工具对所述接口列表信息进行配置，得到可用接口列表配置信息，还包括：

将用于接口订阅的信息导入接口订阅管理配置模块，由所述接口订阅管理配置模块导出接口订阅管理配置信息；所述接口订阅管理配置信息包括数据卸载配置信息和数据分发配置信息中的至少一种。

7.根据权利要求1所述的方法，其特征在于，在所述将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到目标作业配置模板的步骤之前，还包括：

根据预先定义的校验逻辑，对所述数据格式信息中用于进行配置的信息进行校验；

若所述用于进行配置的信息不符合所述校验逻辑，则发出校验失败的提示信息；

若所述用于进行配置的信息符合校验逻辑，则进行将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到目标作业配置模板的步骤。

8.一种数据处理装置，其特征在于，所述装置包括：

信息获取模块，用于获取针对业务数据的数据格式信息；

数据处理模块，用于将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到针对所述业务数据的作业配置模板；

导出模块，用于根据所述作业配置模板，导出大数据ETL作业配置文件；所述大数据ETL作业配置文件用于配置针对所述业务数据的ETL作业操作。