[发明专利]一种数据处理方法、装置及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收用户的数据处理请求，并根据用户的数据处理请求，获取至少一个数据处理任务；

确定所述数据处理任务的任务类型，根据所述数据处理任务的任务类型，获取预设的控制脚本集合，其中，所述预设的控制脚本集合包括根据数据处理任务的通用逻辑而预先编写并封装的多个脚本；

根据所述预设的控制脚本集合，生成相应的自定义脚本集合，所述自定义脚本集合是实现具体应用场景的数据处理任务的主流程的脚本；

根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合；

基于所述数据处理脚本集合，对相应的目标数据进行相应的处理。

2.根据权利要求1所述的数据处理方法，其特征在于，在所述根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合之前，还包括：

通过预设的调度脚本集合启动所述自定义脚本集合；

所述根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合，包括：根据启动的自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合。

3.根据权利要求2所述的数据处理方法，其特征在于，所述通过预设的调度脚本集合启动所述自定义脚本集合之前，还包括：

根据所述自定义脚本集合，生成第二调度脚本集合；将所述第二调度脚本集合添加至预设的调度脚本集合。

4.根据权利要求2所述的数据处理方法，其特征在于，所述通过预设的调度脚本集合启动所述自定义脚本集合，包括：

根据所述自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；

基于所述脚本配置文件，通过所述调度脚本集合按照预设时间启动所述自定义脚本集合。

5.根据权利要求2所述的数据处理方法，其特征在于，所述根据启动的自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合，包括：

根据启动的自定义脚本集合生成相应的脚本连接文件，其中所述脚本连接文件为启动的自定义脚本集合调用所述控制脚本集合所需的资源；

控制启动的自定义脚本集合，通过所述脚本连接文件调用所述控制脚本集合，生成数据处理脚本集合。

6.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理任务的任务类型包括以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务；所述控制脚本集合包括以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合；

在所述根据所述数据处理任务，获取预设的控制脚本集合之前，还包括：

确定所述数据处理任务的任务类型；

若所述任务类型是数据同步任务，则将所述数据同步脚本集合确认为控制脚本集合；若所述任务类型是数据分析任务，则将所述数据分析脚本集合确认为控制脚本集合；若所述任务类型是数据监控任务，则将所述数据监控脚本集合确认为控制脚本集合。

7.根据权利要求6所述的数据处理方法，其特征在于，所述基于所述数据处理脚本集合，对相应的目标数据进行相应的处理，包括以下的一种或多种：

基于所述数据同步任务，通过所述数据处理脚本集合对所述目标数据进行相应的同步配置，生成预处理数据；将所述预处理数据传输至待处理数据库；

基于所述数据分析任务，通过所述数据处理脚本集合对所述目标数据进行逻辑解析，生成解析数据；控制所述数据处理脚本集合对所述解析数据进行统计分析，生成统计分析结果；

基于所述数据监控任务，通过所述数据处理脚本集合对所述目标数据进行监控，生成监控结果。