[发明专利]一种数据处理方法、装置、设备和存储介质

说明书

本发明公开了一种数据处理的方法、装置、设备和存储介质。该方法包括：获取与目标任务对应的数据接入规则，数据接入规则包括任务信息和数据处理规则，任务信息中包括至少一项待处理的数据源；根据任务信息，判断待处理的数据源的类型，并调用与每个数据源的类型分别对应的数据源读取类，读取至少一项数据源；将读取得到的数据写入消息队列中，从消息队列中获取数据，并根据数据处理规则对数据进行处理。使用本发明实施例的技术方案，当增加新的数据源时，只需添加新的数据源读取类，数据处理部分是通用的，这样就使数据源扩展代价变低，可以提高性能。

技术领域

本发明实施例涉及信息处理技术，尤其涉及一种数据处理方法、装置、设备和存储介质。

背景技术

目前很多企业需要对大量分散、标准不统一的数据进行整合，以便为企业的决策提供分析依据。

ETL(Extract-Transform-Load，数据仓库技术)就是对大量数据进行抽取、清洗、转换，然后加载到数据仓库的技术。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

但是目前的开源ETL工具，往往只能支持部分数据源，当出现新的数据源时，就无法进行适用，或是新增数据源时，需要进行较大的改动。这样就使得扩展数据源的成本增加，不利于ETL系统性能的提高。

发明内容

本发明实施例提供一种数据处理方法、装置、设备和存储介质，以实现数据源通用，当出现新的数据源时，只需添加新的数据源读取类，以降低数据扩展成本，提高性能。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

获取与目标任务对应的数据接入规则，所述数据接入规则包括任务信息和数据处理规则，所述任务信息中包括至少一项待处理的数据源；

根据所述任务信息，判断所述待处理的数据源的类型，并调用与每个所述数据源的类型分别对应的数据源读取类，读取至少一项数据源；

将读取得到的数据写入至消息队列中，从所述消息队列中获取所述数据，并根据所述数据处理规则对所述数据进行处理。

第二方面，本发明实施例还提供了一种数据处理装置，该装置包括：

数据接入规则获取模块，用于获取与目标任务对应的数据接入规则，所述数据接入规则包括任务信息和数据处理规则；

数据源读取模块，用于根据所述任务信息，判断数据源的类型，调用与每个所述数据源的类型分别对应的数据源读取类，根据所述数据源读取类读取至少一项数据源；

数据处理模块，用于将读取得到的数据写入至消息队列中，从所述消息队列中获取所述数据，并根据所述数据处理规则对所述数据进行处理。

本发明实施例的技术方案通过实现一种通用的数据处理装置，对不同的数据源，调用对应的数据源读取类，使得整个装置可以适用于多种不同的数据源，并可以进行扩展。解决了现有的开源ETL工具中，只能适用于部分数据源，当出现新的数据源时无法适用或需要进行较大改动的问题，实现了多数据源通用，降低了增加新数据源时的扩展成本，提高了数据处理性能。

附图说明

图1是本发明实施例一中的一种数据处理方法的流程图；

图2是本发明实施例二中的一种数据处理方法的流程图；

图3是本发明实施例三中的一种数据处理装置的结构示意图；

图4是本发明实施例四中的一种数据处理设备的结构示意图。

具体实施方式