[发明专利]一种数据处理系统及方法

说明书

本申请实施例提供了一种数据处理系统及方法，其中，该系统包括：模板管理模块，用于存储多种数据处理通用模板；模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。本申请实施例降低了对大量数据的处理难度。

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种数据处理系统及方法。

背景技术

如今，随着技术的发展，越来越多的企业或工厂都开始使用电子化管理，在这过程中就必然会产生大量的数据，如何将这些数据快速地导入数据库以便及时进行数据处理就成为了一个迫切需要解决的问题。

现有技术中，在大量数据导入数据库之前，会预先对这些大量数据进行预先处理，以确保这些数据能够满足预先设定的存储格式，由于这些大量数据可能来自不同的源数据库，且每个源数据库中的存储格式各不相同，在对这些数据进行预处理时，需要分别建立与各个数据对应的不同的处理方法，当有大量不同格式的数据需要进行预处理时，就会较为繁琐。

综上，目前对数据进行预处理时，需要建立与各个数据对应的不同的处理方法，在执行时较为繁琐。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理系统及方法，以降低对大量数据的处理难度。

第一方面，本申请实施例提供了一种数据处理系统，包括：

模板管理模块，用于存储多种数据处理通用模板；

模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；

数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；

所述数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，所述数据处理系统还包括：

子处理类型代码块生成模块，用于对各处理类型包含的子处理类型进行统计，得到子处理类型集，为所述子处理类型集中的每一子处理类型生成对应的子处理类型代码块，将所述子处理类型代码块发送至所述模板管理模块。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，所述模板管理模块，包括：

代码接收子模块，用于接收输入的子处理类型代码块，并将所述子处理类型代码块发送至所述通用模板生成子模块；

通用模板生成子模块，用于存储由所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成的数据处理通用模板。

结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，所述数据输入模块在接收输入的所述待处理源数据之后，具体用于：

检测所述源数据是否符合预设格式，若否，按照预设格式对所述待处理源数据进行格式转换，并将格式转换后的待处理源数据发送至所述数据处理模块；

若是，将所述待处理源数据发送至所述数据处理模块。

结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，所述待处理源数据包括多种类型的数据，所述数据输入模块包括多种类型的数据接口，每一类型的数据接口对应接收一类型的数据。