[发明专利]数据格式转换方法及装置

权利要求书

1.一种数据格式转换方法，其特征在于，所述方法包括：

接收用户设定的数据源地址和目标地址，以及所需引用的loader、filter、service类，以及设定了目标导入规则的exporter，其中，loader用于读取至少一种指定格式的数据，目标导入规则定义了以目标地址存储数据的格式向目标地址写入数据；

启动loader线程从数据源地址中读取目标数据，将目标数据转换为实体类数据；

将实体类数据传入filter，启动filter线程按照预设的数据过滤规则对实体类数据进行清洗过滤；

将清洗过滤后的实体类数据传入service类，启动service线程按照预设的业务处理逻辑对清洗过滤后的实体类数据进行逻辑处理；

启动exporter线程读取逻辑处理后的实体类数据，并将逻辑处理后的实体类数据写入目标地址。

2.根据权利要求1所述的方法，其特征在于，在接收用户设定的所需引用的service类之前，所述方法还包括：

新增service类，利用新增的service类继承service父类；

接收用户设定的业务处理逻辑，将业务处理处理逻辑写入继承后的service类的excute方法，得到可以被引用的service类。

3.根据权利要求1所述的方法，其特征在于，启动service线程按照预设的业务处理逻辑对清洗过滤后的实体类数据进行逻辑处理，包括：

当业务处理逻辑被用户标识为复杂逻辑时，利用service线程执行excute方法，将清洗过滤后的实体类数据缓存至redis；

从redis中取出缓存的数据进行逻辑处理。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

接收用户重写的service类的atlast方法，所述atlast方法用于指示当数据源地址中所有数据传入service类之后进行逻辑处理；

在将清洗过滤后的实体类数据缓存至redis之后，所述方法还包括：

启动service线程执行atlast方法，从redis中取出清洗过滤后的实体类数据存入atlast结果，直至从数据源地址中接收的所有数据经过处理后存入atlast结果；

取出atlast结果中存储的所有清洗过滤后的实体类数据进行逻辑处理。

5.根据权利要求1所述的方法，其特征在于，

针对loader线程在一次读取过程中读取的目标数据，按照loader线程处理、filter线程处理、service线程处理和exporter线程处理的顺序依次处理目标数据；

针对所有目标数据，由至少一个loader线程、至少一个filter线程、至少一个service线程和至少一个exporter线程同时执行处理过程。

6.一种数据格式转换装置，其特征在于，所述装置包括：

接收模块，用于接收用户设定的数据源地址和目标地址，以及所需引用的loader、filter、service类，以及设定了目标导入规则的exporter，其中，loader用于读取至少一种指定格式的数据，目标导入规则定义了以目标地址存储数据的格式向目标地址写入数据；

数据读取模块，用于启动loader线程从数据源地址中读取目标数据，将目标数据转换为实体类数据；

数据清洗模块，用于将数据读取模块转换的实体类数据传入filter，启动filter线程按照预设的数据过滤规则对实体类数据进行清洗过滤；

逻辑处理模块，用于将经过数据清洗模块清洗过滤后的实体类数据传入service类，启动service线程按照预设的业务处理逻辑对清洗过滤后的实体类数据进行逻辑处理；

数据导入模块，用于启动exporter线程读取经过逻辑处理模块逻辑处理后的实体类数据，并将逻辑处理后的实体类数据写入目标地址。