[发明专利]方案处理方法、装置、计算机设备和存储介质

说明书

本申请涉及大数据处理技术领域，具体涉及一种方案处理方法、装置、计算机设备和存储介质。所述方法包括：执行引擎通过实时流任务监听到消息队列的方案处理消息，方案处理消息是配置引擎响应于用户下发的用于指示对目标方案进行处理的方案处理指令，指示消息队列生成的；根据方案处理消息获得用户在配置引擎中配置好的目标方案的方案配置信息；根据方案配置信息从目标数据源提取待加工数据，并对待加工数据进行ETL加工处理。本发明实施例中，用户通过配置简易的SQL语句即可实现复杂的逻辑，不需要用户掌握不同数据源的SQL语法，强化配置化，支持多数据源，而执行引擎是通用的，因而不需要开发人员针对不同场景反复编写逻辑。

技术领域

本申请涉及大数据处理技术领域，特别是涉及一种方案处理方法、装置、计算机设备和存储介质。

背景技术

以下陈述仅提供与本发明有关的背景信息，而不必然地构成现有技术。

在互联网新零售行业里，在面对复杂的系统交互以及多数据源进行交互加工处理时，需要频繁新增与数据库的交互逻辑，同时也要新增ETL加工逻辑与数据交换的任务，工作量反复，性能和通用性也有很大瓶颈。

发明内容

本发明针对上述不足或缺点，提供了一种方案处理方法、装置、计算机设备和存储介质，本发明实施例不需要用户掌握不同数据源的SQL语法，强化配置化，支持多数据源，而执行引擎是通用的，因而不需要开发人员针对不同场景反复编写逻辑。

本发明根据第一方面提供了一种方案处理方法，在一个实施例中，该方法包括：

执行引擎通过实时流任务监听到消息队列的方案处理消息，方案处理消息是配置引擎响应于用户下发的用于指示对目标方案进行处理的方案处理指令，指示消息队列生成的；执行引擎和配置引擎分别部署于不同的服务器；

根据方案处理消息获得用户在配置引擎中配置好的目标方案的方案配置信息；

根据方案配置信息从目标数据源提取待加工数据，并对待加工数据进行ETL加工处理。

在一个实施例中，执行引擎基于JVM环境部署于Hadoop集群，配置引擎基于JVM环境部署于WEB服务器。

在一个实施例中，根据方案处理消息获得用户在配置引擎中配置好的目标方案的方案配置信息的步骤，包括：

对方案处理消息进行解析，并获取解析得到的方案唯一编码；

从配置引擎中查询得到与方案唯一编码对应的用户在配置引擎中配置好的目标方案的方案配置信息。

在一个实施例中，方案配置信息包括数据来源配置信息、数据输出配置信息、表关联配置信息、过滤条件配置信息和方案执行脚本；

根据方案配置信息从目标数据源提取待加工数据，并对待加工数据进行ETL加工处理的步骤，包括：

根据数据来源配置信息与目标数据源建立连接，并从中提取待加工数据到数据来源配置信息对应的Hive表中；

根据表关联配置信息、过滤条件配置信息和方案执行脚本对待加工数据进行ETL加工处理。

在一个实施例中，根据表关联配置信息、过滤条件配置信息和方案执行脚本对待加工数据进行ETL加工处理的步骤，包括：

执行方案执行脚本对待加工数据进行处理，得到初步处理结果；

根据表关联配置信息、过滤条件配置信息对初步处理结果进行数据去重、汇总处理，得到ETL加工处理结果。

在一个实施例中，方案配置信息还包括数据输出配置信息；根据表关联配置信息、过滤条件配置信息对初步处理结果进行数据去重、汇总处理，得到ETL加工处理结果的步骤，包括：