[发明专利]方案处理方法、装置、计算机设备和存储介质

权利要求书

1.一种方案处理方法，其特征在于，所述方法包括：

执行引擎通过实时流任务监听到消息队列的方案处理消息，所述方案处理消息是配置引擎响应于用户下发的用于指示对目标方案进行处理的方案处理指令，指示所述消息队列生成的；所述执行引擎和所述配置引擎分别部署于不同的服务器；

根据所述方案处理消息获得所述用户在所述配置引擎中配置好的所述目标方案的方案配置信息；

根据所述方案配置信息从目标数据源提取待加工数据，并对所述待加工数据进行ETL加工处理。

2.如权利要求1所述的方法，其特征在于，所述执行引擎基于JVM环境部署于Hadoop集群，所述配置引擎基于JVM环境部署于WEB服务器。

3.如权利要求1所述的方法，其特征在于，所述根据所述方案处理消息获得所述用户在所述配置引擎中配置好的所述目标方案的方案配置信息的步骤，包括：

对所述方案处理消息进行解析，并获取解析得到的方案唯一编码；

从所述配置引擎中查询得到与所述方案唯一编码对应的所述用户在所述配置引擎中配置好的所述目标方案的方案配置信息。

4.如权利要求1所述的方法，其特征在于，所述方案配置信息包括数据来源配置信息、数据输出配置信息、表关联配置信息、过滤条件配置信息和方案执行脚本；所述根据所述方案配置信息从目标数据源提取待加工数据，并对所述待加工数据进行ETL加工处理的步骤，包括：

根据所述数据来源配置信息与目标数据源建立连接，并从中提取待加工数据到所述数据来源配置信息对应的Hive表中；

根据所述表关联配置信息、过滤条件配置信息和方案执行脚本对所述待加工数据进行ETL加工处理。

5.如权利要求4所述的方法，其特征在于，所述根据所述表关联配置信息、过滤条件配置信息和方案执行脚本对所述待加工数据进行ETL加工处理的步骤，包括：

执行所述方案执行脚本对所述待加工数据进行处理，得到初步处理结果；

根据所述表关联配置信息、过滤条件配置信息对所述初步处理结果进行数据去重、汇总处理，得到ETL加工处理结果。

6.如权利要求5所述的方法，其特征在于，所述方案配置信息还包括数据输出配置信息；所述根据所述表关联配置信息、过滤条件配置信息对所述初步处理结果进行数据去重、汇总处理，得到ETL加工处理结果的步骤，包括：

根据所述表关联配置信息、过滤条件配置信息对所述初步处理结果进行数据去重、汇总处理，将处理得到的数据作为ETL加工处理结果存储到所述数据输出配置信息对应的Hive表中；或，

根据所述表关联配置信息、过滤条件配置信息对所述初步处理结果进行数据去重、汇总处理，将处理得到的数据存储到所述数据输出配置信息对应的Hive中间表中，获取所述用户手工导入到预设导入表中的数据，将所述Hive中间表中的数据和所述预设导入表中的数据进行合并，并将合并结果作为ETL加工处理结果存储到所述数据输出配置信息对应的Hive表中。

7.如权利要求4所述的方法，其特征在于，所述方法还包括：在根据所述表关联配置信息、过滤条件配置信息和方案执行脚本对所述待加工数据进行ETL加工处理时，通过日志引擎生成数据处理日志，并将生成的数据处理日志记录到用于存储日志数据的表中。

8.一种方案处理装置，其特征在于，所述装置包括：

监听模块，用于执行引擎通过实时流任务监听到消息队列的方案处理消息，所述方案处理消息是配置引擎响应于用户下发的用于指示对目标方案进行处理的方案处理指令，指示所述消息队列生成的；所述执行引擎和所述配置引擎分别部署于不同的服务器；

配置信息获取模块，用于根据所述方案处理消息获得所述用户在所述配置引擎中配置好的所述目标方案的方案配置信息；

加工模块，用于根据所述方案配置信息从目标数据源提取待加工数据，并对所述待加工数据进行ETL加工处理。