[发明专利]简化编程的方法、装置、电子设备、计算机可读存储介质

说明书

本发明提供了一种简化编程的方法、装置、电子设备、计算机可读存储介质，所述方法包括：任务调度平台获取针对待开发系统构建的配置文件，所述配置文件包括与所述待开发系统对应的任务所使用的系统操作与接口；校验所述配置文件是否具备合法性；在为是时，基于所述配置文件生成DAG依赖关系；基于所述DAG依赖关系调用不同的Operator以及Hook，处理所述任务，其中，所述系统操作与接口配置出多个Hook以及多个Operator。通过在编辑配置文件的基础上，即可实现大数据相关任务作业的快速处理，减少了编码提高了开发效率，节约大量人力成本同时，也减少了开发过程中不断开发、调试以及改正的过程，简化了编程任务。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种简化编程的方法、装置、电子设备、计算机可读存储介质。

背景技术

随着云计算、大数据技术的发展，运用大数据技术处理海量数据及从数据中获取有用潜在信息得到了各方面的广泛关注,目前业界通用的方案是借助开源分布式大数据处理框架(Apache Spark)，实现对海量数据离线及实时处理。目前主要使用的基于ApacheSpark分布式处理平台提供了一系列编程模型及相应的接口，支持JAVA/Scala/Python等主流语言，这种分布式集群处理效率高、容错能力强、灵活度高、适应面广，满足处理各种关系型和非关系型数据处理。给我们处理数据和进一步挖掘数据潜在价值方面提供了技术上的可行性。

大数据(Apache Spark)平台具有灵活性高、可编程性强等特点，但是在灵活的同时也为我们普通的编程、运维人员增加了学习成本。主要是在日常业务中，假如需要增加新的统计任务，则需要重新编写接口完成代码编辑和编译以及调试，一方面，相对而言增加了很多重复且不必要的工作，学习成本高。另一方面，不利于普通用户的使用。

发明内容

有鉴于此，本发明实施例的目的在于提供一种简化编程的方法、装置、电子设备、计算机可读存储介质，以简化编程，减少普通的编程、运维人员的学习成本。

第一方面，本发明实施例提供了一种简化编程的方法，应用于任务调度平台，所述方法包括：获取针对待开发系统构建的配置文件，所述配置文件包括与所述待开发系统对应的任务所使用的系统操作与接口；校验所述配置文件是否具备合法性；在为是时，基于所述配置文件生成DAG依赖关系；基于所述DAG依赖关系调用不同的Operator以及Hook，处理所述任务，其中，所述系统操作与接口配置出多个Hook以及多个Operator。

第二方面，本发明实施例提供了一种简化编程的装置，应用于任务调度平台，获取模块，用于针对待开发系统构建的配置文件，所述配置文件包括与所述待开发系统对应的任务所使用的系统操作与接口；校验模块，用于校验所述配置文件是否具备合法性；执行模块，用于在所述校验模块判断为是时，基于所述配置文件生成DAG依赖关系；调用模块，用于基于所述DAG依赖关系调用不同的Operator以及Hook，处理所述任务，其中，所述系统操作与接口配置出多个Hook以及多个Operator。

第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行第一方面任意一项所述的方法。

第四方面，本发明实施例提供一种电子设备，所述电子设备包括相互耦合的存储器以及处理器；所述存储器内存储计算机程序，所述计算机程序被所述处理器读取并运行时，执第一方面任意一项所述的方法。

与现有技术相比，本发明各实施例提出的简化编程的方法、装置、电子设备、计算机可读存储介质的有益效果是：本发明实施例提出的简化编程的方法、装置、电子设备、计算机可读存储介质，通过在编辑配置文件的基础上，即可实现大数据相关任务作业的快速处理，减少了编码提高了开发效率，节约大量人力成本同时，也减少了开发过程中不断开发、调试以及改正的过程，简化了编程任务。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。