[发明专利]一种数据处理方法及装置

摘要

本申请公开了一种数据处理方法及装置，方法包括：预先设计数据配置模板，用户根据待加工的数据表填写数据配置模板，并依据填写后的数据配置模板生成待加工数据表的作业配置信息，进而在接收到数据源传入的数据表时，依据相应的作业名查询对应的作业配置信息，并根据作业配置信息生成SQL语句，利用SQL语句对数据表进行处理，将数据表加载到数据仓库中。本申请由于设计了数据配置模板，因此针对待加工的数据表，只需按照数据配置模板中各字段的要求填写即可，填写完毕后生成数据表的作业配置信息，在处理数据表时可以直接按照对应的作业配置信息进行处理，无需人工编写数据处理程序，节省了人力资源，降低了人力成本。

主权项

1.一种数据处理方法，其特征在于，包括：接收数据源传入的数据表；查询预置的与所述数据表的表名对应的作业配置信息，得到目标作业配置信息，所述作业配置信息为用户预先根据待加工的数据表填写数据配置模板，并依据填写后的数据配置模板生成的作业配置信息；利用所述目标作业配置信息生成用于进行数据处理的SQL语句；利用所述SQL语句对所述数据表进行处理，将所述数据表加载到数据仓库中；所述目标作业配置信息包括数据表从数据仓库的数据缓冲层集成至贴源数据集成层的贴源算法的标识，以及数据表从贴源数据集成层至中间层的预处理算法的标识，则所述利用所述目标作业配置信息生成用于进行数据处理的SQL语句，包括：在预置的贴源算法参数表中查询与所述目标作业配置信息中包含的贴源算法的标识相同的贴源算法；在预置的预处理算法参数表中查询与所述目标作业配置信息中包含的预处理算法的标识相同的预处理算法；利用查询到的贴源算法以及预处理算法，生成SQL语句；所述利用所述SQL语句对所述数据表进行处理，将所述数据表加载到数据仓库中，包括：利用生成的SQL语句将所述数据表从所述数据缓冲层集成至所述贴源数据集成层，进一步将所述贴源数据集成层中的数据表加载至所述中间层。