[发明专利]数据格式转换方法及装置

说明书

本发明公开了一种数据格式转换方法及装置，其中该方法包括：接收用户设定的数据源地址和目标地址，以及所需引用的loader、filter、service类，以及设定了目标导入规则的exporter；启动loader线程从数据源地址中读取目标数据，将目标数据转换为实体类数据；将实体类数据传入filter，启动filter线程按照预设的数据过滤规则对实体类数据进行清洗过滤；启动service线程按照预设的业务处理逻辑对清洗过滤后的实体类数据进行逻辑处理；启动exporter线程读取逻辑处理后的实体类数据，并将逻辑处理后的实体类数据写入目标地址。本发明可以快速、可靠、简便的实现数据格式转换过程。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种数据格式转换方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在实际业务场景中，业务部门可以从多渠道获取客户数据。面对不同的数据源，获取的客户数据的格式也多种多样，例如文本数据、后台oracle导出数据、excel数据，也可能是hive、hbase或mango等大数据等。在接收到客户数据之后，往往需要将其转换为统一格式的数据，以便于后续按照相同的逻辑进行业务处理。

现有的数据格式转换方案，不同格式的数据需要分别处理，这样有多少种数据就需要处理多少次，重复工作量很大，处理周期长；同时，再每处理完一种格式的数据之后处理下一种格式的数据之时，需要按照下一种数据的格式将全部代码更改一遍，更改后的代码需要全盘测试，导致测试工作量大，还要求开发人员排查问题能力强，以便于及时修改代码测试中出现的问题，否则严重影响后续的数据处理过程的进行。可见，如何提供一种快速、可靠且实现简便的数据格式转换方法，成为目前亟待解决的问题。

发明内容

本发明实施例提供一种数据格式转换方法，用以快速、可靠、简便的实现数据格式转换过程，该方法包括：

接收用户设定的数据源地址和目标地址，以及所需引用的loader、filter、service类，以及设定了目标导入规则的exporter，其中，loader用于读取至少一种指定格式的数据，目标导入规则定义了以目标地址存储数据的格式向目标地址写入数据；

启动loader线程从数据源地址中读取目标数据，将目标数据转换为实体类数据；

将实体类数据传入filter，启动filter线程按照预设的数据过滤规则对实体类数据进行清洗过滤；

将清洗过滤后的实体类数据传入service类，启动service线程按照预设的业务处理逻辑对清洗过滤后的实体类数据进行逻辑处理；

启动exporter线程读取逻辑处理后的实体类数据，并将逻辑处理后的实体类数据写入目标地址。

本发明实施例还提供一种数据格式转换装置，用以快速、可靠、简便的实现数据格式转换过程，该装置包括：

接收模块，用于接收用户设定的数据源地址和目标地址，以及所需引用的loader、filter、service类，以及设定了目标导入规则的exporter，其中，loader用于读取至少一种指定格式的数据，目标导入规则定义了以目标地址存储数据的格式向目标地址写入数据；

数据读取模块，用于启动loader线程从数据源地址中读取目标数据，将目标数据转换为实体类数据；

数据清洗模块，用于将数据读取模块转换的实体类数据传入filter，启动filter线程按照预设的数据过滤规则对实体类数据进行清洗过滤；

逻辑处理模块，用于将经过数据清洗模块清洗过滤后的实体类数据传入service类，启动service线程按照预设的业务处理逻辑对清洗过滤后的实体类数据进行逻辑处理；