[发明专利]基于Spark的大数据开发方法及装置、终端

权利要求书

1.一种基于Spark的大数据开发方法，其特征在于，包括：

安装集成开发环境，用于引入模板工程；

下载新近的模板工程，同时进行编译打包，生成软件开发工具包；

添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；

新建大数据开发工程，应用所述开发模板进行大数据开发；

所述新建大数据开发工程，应用所述开发模板进行大数据开发的步骤，包括：

根据所述开发模板的代码进行相应改动完成大数据开发；

继续拓展所述开发模板，简化开发流程，共享代码架构；

所述开发模板为带有注释和能够运行的代码，所述应用所述开发模板进行大数据开发的步骤，还包括：

根据注释选择需要的数据源写入方法，选择合理的RDD操作算子，选择需要的数据源输入方法；

根据需要对所述代码进行修改或者删减；

所述大数据开发还包括：数据源适配，对字符串的正则判断、NULL值判断和数据源的动态切换，以及动态参数的配置管理，本地配置关联，HDFS配置关联和KV库配置关联；所述开发模板的相关依赖通过SDK的方式提供，开发模板包括通用模板，数据清洗模板和Spark 算子模板的至少之一；所述开发模板包含输入参数的读取和规整、数据的输入和输出以及中间清洗方法的选择。

2.根据权利要求1所述的大数据开发方法，其特征在于，所述安装集成开发环境之后，还包括：安装Maven仓库和IDE的Maven插件。

3.一种基于Spark的大数据开发装置，其特征在于，包括：

安装单元，用于安装集成开发环境，用于引入模板工程；

编译单元，用于下载新近的模板工程，同时进行编译打包，生成软件开发工具包；

添加单元，用于添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；

开发单元，用于新建大数据开发工程，应用所述开发模板进行大数据开发；

所述开发单元还用于：

根据所述开发模板的代码进行相应改动完成大数据开发；

继续拓展所述开发模板，简化开发流程，共享代码架构；

所述开发模板为带有注释和能够运行的代码，所述开发单元还用于：

根据注释选择需要的数据源写入方法，选择合理的RDD操作算子，选择需要的数据源输入方法；

根据需要对所述代码进行修改或者删减；

所述大数据开发还包括：数据源适配，对字符串的正则判断、NULL值判断和数据源的动态切换，以及动态参数的配置管理，本地配置关联，HDFS配置关联和KV库配置关联；所述开发模板的相关依赖通过SDK的方式提供，开发模板包括通用模板，数据清洗模板和Spark 算子模板的至少之一；所述开发模板包含输入参数的读取和规整、数据的输入和输出以及中间清洗方法的选择。

4.根据权利要求3所述的大数据开发装置，其特征在于，所述安装单元还包括：安装Maven仓库和IDE的Maven插件。