[发明专利]一种数据处理方法、装置及存储介质

说明书

本发明公开了一种数据处理方法，其中包括：获取数据处理任务；根据数据处理任务，获取预设的控制脚本集合；根据预设的控制脚本集合，生成相应的自定义脚本集合；根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；基于数据处理脚本集合，对相应的目标数据进行相应的处理。本发明还公开了一种数据处理装置及存储介质。本发明实施例预先提供实现数据同步任务、数据分析任务以及数据监控任务等数据处理任务的通用逻辑的控制脚本集合，从而细分地对数据处理的各个过程进行优化，提高了用于数据处理的脚本的开发效率。

技术领域

本发明属于通信技术领域，尤其涉及一种数据处理方法、装置及存储介质。

背景技术

数据处理指的是对数据(包括数值的和非数值的)进行采集、转换、存储、检索、分析、加工和传输等处理的过程。随着计算机的推广和普及，采用计算机进行数据处理已经成为数据处理的常用方式。然而，采用计算机进行数据处理通常需要编写大量的脚本以完成数据处理的工作。

具体地，目前采用计算机进行数据处理时，需要对每一个脚本单独编码，然而，由于通常每一个脚本都需要执行数据库操作、日志操作和邮件操作等常用操作，因此编写大量的脚本容易出现许多重复代码，从而导致用于数据处理的脚本的开发效率低下。即使目前提供了将执行例如数据库操作、日志操作和邮件操作等常用操作的脚本代码进行封装的方案，然而该方案仅能够少量地减少编写脚本的过程中的重复代码，无法显著地提高用于数据处理的脚本的开发效率。

发明内容

本发明的目的在于提供一种数据处理方法、装置及存储介质，旨在显著地提高用于数据处理的脚本的开发效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种数据处理方法，其中包括：获取数据处理任务；根据数据处理任务，获取预设的控制脚本集合；根据预设的控制脚本集合，生成相应的自定义脚本集合；根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；基于数据处理脚本集合，对相应的目标数据进行相应的处理。

进一步地，所述方法还包括：通过预设的调度脚本集合启动自定义脚本集合。

进一步地，所述方法还包括：根据自定义脚本集合，生成第二调度脚本集合；将第二调度脚本集合添加至预设的调度脚本集合。

进一步地，所述方法具体包括：根据自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；基于脚本配置文件，通过调度脚本集合按照预设时间启动自定义脚本集合。

进一步地，所述方法具体还包括：根据启动的自定义脚本集合生成相应的脚本连接文件，其中脚本连接文件为启动的自定义脚本集合调用控制脚本集合所需的资源；控制启动的自定义脚本集合，通过脚本连接文件调用控制脚本集合，生成数据处理脚本集合。

进一步地，数据处理任务的任务类型包括以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务；控制脚本集合包括以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合；所述方法还包括：确定数据处理任务的任务类型；若任务类型是数据同步任务，则将数据同步脚本集合确认为控制脚本集合；若任务类型是数据分析任务，则将数据分析脚本集合确认为控制脚本集合；若任务类型是数据监控任务，则将数据监控脚本集合确认为控制脚本集合。

更进一步地，所述方法具体还包括：

基于数据同步任务，通过数据处理脚本集合对目标数据进行相应的同步配置，生成预处理数据；将预处理数据传输至待处理数据库；

基于数据分析任务，通过数据处理脚本集合对目标数据进行逻辑解析，生成解析数据；控制数据处理脚本集合对解析数据进行统计分析，生成统计分析结果；

基于数据监控任务，通过数据处理脚本集合对目标数据进行监控，生成监控结果。

为解决上述技术问题，本发明实施例还提供以下技术方案：