[发明专利]一种数据处理方法、装置、电子设备和存储介质

说明书

本发明实施例提供了一种数据处理方法、装置、电子设备和存储介质，所述方法包括：获取针对业务数据的数据格式信息；将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到针对所述业务数据的作业配置模板；根据所述作业配置模板，导出大数据ETL作业配置文件；所述大数据ETL作业配置文件用于配置针对所述业务数据的ETL作业操作。本发明实施例可以在无需编写代码，只需将整理好的数据格式信息输入预先配置好的数据处理工具的情况下，完成大数据ETL作业的开发工作，降低直接开发大数据ETL作业的技术难度。

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种计算机可读存储介质。

背景技术

Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架。由于Hadoop生态圈的技术的更新迭代速度较快，目前还没有支持Hive、Spark、MR等计算引擎的数据ETL(Extract-Transform-Load，抽取-转换-加载)作业自动化生产工具。另外，由于基于大数据的加工处理逻辑和优化策略等与传统的ETL工具存在很大的差别，使得基于TD(Test Director，测试管理)、DS(Data Stage，数据集成)等的开发工具在Hadoop生态圈很难进行应用，导致直接开发大数据作业的技术难度较大。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法、一种数据处理装置、一种电子设备和一种计算机可读存储介质。

为了解决上述问题，本发明实施例公开了一种数据处理方法，所述方法包括：

获取针对业务数据的数据格式信息；

将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到针对所述业务数据的作业配置模板；

根据所述作业配置模板，导出大数据ETL作业配置文件；所述大数据ETL作业配置文件用于配置针对所述业务数据的ETL作业操作。

可选地，所述数据格式信息包括数据接口信息；所述将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到针对所述业务数据的作业配置模板，包括：

将所述数据接口信息输入预先配置的数据处理工具，由所述数据处理工具对所述数据接口信息进行配置，得到数据接口配置信息；所述数据接口配置信息为用于从所述业务数据中选择多张数据表进行组合，或选择多个分区和/或分桶字段进行组合的配置信息。

可选地，所述数据格式信息还包括接口列表信息；所述将所述数据格式信息输入预先配置的数据处理工具中进行处理，得到针对所述业务数据的作业配置模板，还包括：

将所述接口列表信息输入所述数据处理工具，由所述数据处理工具对所述接口列表信息进行配置，得到接口列表配置信息；所述接口列表配置信息为用于对所述业务数据进行数据权限控制，或过滤所述业务数据中的无效数据的配置信息。

可选地，所述接口列表信息包括用于配置接口的信息；所述数据处理工具包括贴源层配置模块；所述将所述接口列表信息输入所述数据处理工具，由所述数据处理工具对所述接口列表信息进行配置，得到可用接口列表配置信息，包括：

将用于配置接口的信息导入贴源层配置模块，由所述贴源层配置模块接口导出贴源层配置信息；所述贴源层配置信息包括针对外表进行数据加载的配置信息、针对内表进行数据加工的配置信息、数据质量管理配置信息、数据获取配置信息、接口导出配置信息中的至少一种。

可选地，所述接口列表信息包括用于配置数据模型的信息；所述数据处理工具包括共性加工层配置模块；所述将所述接口列表信息输入所述数据处理工具，由所述数据处理工具对所述接口列表信息进行配置，得到可用接口列表配置信息，还包括：