[发明专利]便于海量多源异构数据的清洗整合存储的方法

权利要求书

1.一种便于海量多源异构数据的清洗整合存储的方法，其特征在于：具体步骤如下：

步骤一，构造数据源集合；

步骤二，遍历数据源集合；

步骤三，数据接入环节；

步骤四，协议适配环节，形成1阶数据，推送缓存队列；

步骤五，拉取1阶数据，清洗环节，形成2阶数据，推送缓存队列；

步骤六，取2阶数据，主被动混合模式转换整合环节，形成3阶数据，推送缓存队列；

步骤七，拉取3阶数据，分布存储环节，完成最终存储；

在步骤一中，所述的构造 数据源集合，为海量多源异构数据源构造成的原始采集数据源集合；首先构造数据源集合，集合内元素个数为10；遍历集合，记录数据源标识，数据源类型，接入方式和适配器的四元组，形成列表：

{(DB1,DB,JDBC,JavaApi),(DB2,DB,JDBC,JavaApi),(DB3,DB,JDBC,JavaApi),(EL1,EL,FIO,Buffer),(EL2,EL,FIO,Buffer),(JN1,JSON,HTTP,Json),(PB1,PB,HTTP,Pb),(PB2,PB,HTTP,Pb),(SN1,SN,SOCKET,Buffer),(SN2,SN,SOCKET,Buffer)}；

按照四元组中的接入方式进行数据接入；按照四元组中的适配器，实现解析，解析后的数据形成10组1阶数据，推送至数据缓存队列中的1阶主题；对1阶数据拉取，进行异常、问题数据的清洗、剔除，清洗后的数据形成10组2阶数据，推送至数据缓存队列的2阶主题；对2阶数据进行拉取，JN1、PB1、PB2、SN1、SN2这5组2阶数据按照主动自定义模式进行字节级别或关键值级别的转换整合，DB1、DB2、DB3、EL1、EL2这5组2阶数据按照被动自动化模式进行字段级别的转换整合，两个模式整合后的数据形成10组3阶数据，推送至数据缓存队列中的3阶主题；对3阶数据进行拉取，将DB1、DB2、DB3、EL1、EL2这5组3阶数据存入到关系型存储中，N1、PB1、PB2、SN1、SN2这5组2阶数据存入到时序存储中，完成最终存储。

2.根据权利要求1所述的便于海量多源异构数据的清洗整合存储的方法，其特征在于：在步骤二中，所述的遍历数据源集合，其遍历过程需记录集合中各个数据源的源类型、源个数、源维度以及源数据协议。

3.根据权利要求1所述的便于海量多源异构数据的清洗整合存储的方法，其特征在于：在步骤三中，所述的数据接入环节，为数据源在进行数据处理前的接入。

4.根据权利要求1所述的便于海量多源异构数据的清洗整合存储的方法，其特征在于：在步骤四中，所述的协议适配环节，按照各数据源的源类型及数据协议进行对应的首次解析，解析后的数据形成1阶数据，推送至数据缓存队列中的1阶主题。

5.根据权利要求4所述的便于海量多源异构数据的清洗整合存储的方法，其特征在于：所述的清洗环节，首先进行1阶数据拉取，然后依据数据清洗规则进行异常、问题数据的清洗、剔除，清洗后的数据形成2阶数据，推送至数据缓存队列的2阶主题。

6.根据权利要求5所述的便于海量多源异构数据的清洗整合存储的方法，其特征在于：所述的主被动混合模式转换整合环节，首先进行2阶数据拉取，一部分特殊动态数据按照主动自定义模式进行转换整合，一部分常规业务数据按照被动自动化模式进行转换整合，两个模式整合后的数据形成3阶数据，推送至数据缓存队列中的3阶主题。

7.根据权利要求6所述的便于海量多源异构数据的清洗整合存储的方法，其特征在于：所述的存储环节，先拉取3阶数据，然后通过分布式机制进行海量数据存储，将业务基础数据存入到关系型存储中，将动态时序数据存入到时序存储中，完成最终存储。