[发明专利]一种数据处理方法及装置

说明书

本申请公开了一种数据处理方法及装置，方法包括：预先设计数据配置模板，用户根据待加工的数据表填写数据配置模板，并依据填写后的数据配置模板生成待加工数据表的作业配置信息，进而在接收到数据源传入的数据表时，依据相应的作业名查询对应的作业配置信息，并根据作业配置信息生成SQL语句，利用SQL语句对数据表进行处理，将数据表加载到数据仓库中。本申请由于设计了数据配置模板，因此针对待加工的数据表，只需按照数据配置模板中各字段的要求填写即可，填写完毕后生成数据表的作业配置信息，在处理数据表时可以直接按照对应的作业配置信息进行处理，无需人工编写数据处理程序，节省了人力资源，降低了人力成本。

技术领域

本申请涉及数据仓库技术领域，更具体地说，涉及一种数据处理方法及装置。

背景技术

数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的体系结构一共分为四个层次，分别为：数据缓冲层、贴源数据集成层、中间层和数据集市。

数据按指定频度从源系统传输到仓库后，首先加载到数据缓冲层，再加工至贴源数据集成层。现有的数据仓库实施方式中，需要为接入的每张数据表都进行数据处理程序的开发，以使得数据表加载至数据仓库中。当需要接入的数据表数量众多时，需要逐个为数据表发开数据处理程序，造成大量人力资源的消耗，同时该实施方式将在开发相似程序的重复劳动中耗费大量的人力成本。

发明内容

有鉴于此，本申请提供了一种数据处理方法及装置，用于解决现有为每个数据表开发数据处理程序的方式所存在的耗费人力资源与成本的问题。

为了实现上述目的，现提出的方案如下：

一种数据处理方法，包括：

接收数据源传入的数据表；

查询预置的与所述数据表的表名对应的作业配置信息，得到目标作业配置信息，所述作业配置信息为用户预先根据待加工的数据表填写数据配置模板，并依据填写后的数据配置模板生成的作业配置信息；

利用所述目标作业配置信息生成用于进行数据处理的SQL语句；

利用所述SQL语句对所述数据表进行处理，将所述数据表加载到数据仓库中。

优选地，所述目标作业配置信息包括数据表从数据仓库的数据缓冲层集成至贴源数据集成层的贴源算法的标识，以及数据表从贴源数据集成层至中间层的预处理算法的标识，则所述利用所述目标作业配置信息生成用于进行数据处理的SQL语句，包括：

在预置的贴源算法参数表中查询与所述目标作业配置信息中包含的贴源算法的标识相同的贴源算法；

在预置的预处理算法参数表中查询与所述目标作业配置信息中包含的预处理算法的标识相同的预处理算法；

利用查询到的贴源算法以及预处理算法，生成SQL语句；

所述利用所述SQL语句对所述数据表进行处理，将所述数据表加载到数据仓库中，包括：

利用生成的SQL语句将所述数据表从所述数据缓冲层集成至所述贴源数据集成层，进一步将所述贴源数据集成层中的数据表加载至所述中间层。

优选地，所述目标作业配置信息还包括数据核检信息，在所述利用所述SQL语句对所述数据表进行处理，将所述数据表加载到数据仓库中之前，该方法还包括：

利用所述数据核检信息对所述数据表进行数据核检。

优选地，所述SQL语句携带有流程控制标记，所述利用所述SQL语句对所述数据表进行处理，包括：

解析所述SQL语句中的流程控制标记，得到流程控制标记的类型；