[发明专利]一种数据处理方法、装置、设备以及存储介质

说明书

本发明公开了一种数据处理方法、装置、设备以及存储介质，属于计算机技术领域和大数据处理技术领域。该方法包括：获取数据发送方的原始数据，并将所述原始数据转换为分布式数据；根据数据提取规则和质量校验规则，对所述分布式数据进行处理，得到目标数据。通过上述技术方案，将原始数据转换为分布式数据，提高了数据的处理效率。

技术领域

本发明实施例涉及计算机技术领域和大数据处理技术领域，尤其涉及一种数据处理方法、装置、设备以及存储介质。

背景技术

由于企业数据量的增加，单机多线程进行数据抽取、转换和加载(ExtractTransform Load，ETL)变得越来越困难。现有技术采用多线程任务进行ETL处理，对内存消耗大，因此，一套快速灵活的具备大规模数据处理能力的ETL系统对于大数据分析系统尤为重要。

发明内容

本发明提供一种数据处理方法、装置、设备以及存储介质，以实现数据的快速处理。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

获取数据发送方的原始数据，并将所述原始数据转换为分布式数据；

根据数据提取规则和质量校验规则，对所述分布式数据进行处理，得到目标数据。

第二方面，本发明实施例还提供了一种数据处理装置，该装置包括：

分布式数据确定模块，用于获取数据发送方的原始数据，并将所述原始数据转换为分布式数据；

目标数据确定模块，用于根据数据提取规则和质量校验规则，对所述分布式数据进行处理，得到目标数据。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所提供的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所提供的数据处理方法。

本发明实施例的技术方案，通过获取数据发送方的原始数据，并将原始数据转换为分布式数据，之后根据数据提取规则和质量校验规则，对分布式数据进行处理，得到目标数据。上述技术方案，相比于传统通过多线程对原始数据进行处理，本发明将原始数据转换为分布式数据，提高了数据的处理效率。

附图说明

图1是本发明实施例一提供的一种数据处理方法的流程图；

图2是本发明实施例二提供的一种数据处理方法的流程图；

图3是本发明实施例三提供的一种数据处理方法的流程图；

图4是本发明实施例四提供的一种数据处理装置的结构示意图；

图5是本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一