[发明专利]便于海量多源异构数据的清洗整合存储的方法

说明书

本发明涉及一种便于海量多源异构数据的清洗整合存储的方法，属于海量多源异构数据处理领域，海量多源异构数据处理中全局因素无法整合等问题；本发明通过构造数据源集合、遍历集合，记录类型及数据协议、数据接入环节、协议适配环节，形成1阶数据，推送缓存队列、拉取1阶数据，清洗环节，形成2阶数据，推送缓存队列、取2阶数据，主被动混合模式转换整合环节，形成3阶数据，推送缓存队列以及最终拉取3阶数据，分布存储环节，完成最终存储。本发明提供的方法，方便快捷、流程化明确，可降低海量多源异构数据的清洗整合存储各环节的耦合程度，通过逐层迁移、降阶处理，可有效降低海量数据压力、削峰填谷，能够提升整个方法过程的鲁棒性。

技术领域

本发明涉及海量多源异构数据处理领域，尤其涉及一种便于海量多源异构数据的清洗整合存储的方法。

背景技术

在智慧城市领域，各种各样的智能终端以及传感器网络越来越多，各个城市应用专题也越来越广泛，这使得智慧城市领域下的数据来源变得更加丰富，其数据量也成为了海量数据、大数据的维度，各类数据源也属于海量的、多源的、异构的数据源。那么在此技术背景下，海量多源异构数据处理则成为了该领域的技术重点。

面向海量多源异构数据处理领域，针对其接入-清洗-整合-存储的过程，需找到一种方便快捷、工艺流程明确的过程方法，同时考虑源数据结构的不同以及最终数据的应用属性不同，而且当面对海量数据进行清洗整合存储时，海量数据造成的压力也要进行降低。

因而，面向海量多源异构数据处理领域，针对其接入-清洗-整合-存储完整过程，亟需一种能够考虑全局因素的便于海量多源异构数据的清洗整合存储的方法。

发明内容

为解决海量多源异构数据处理中全局因素无法整合的问题，提供一种能够考虑全局因素的便于海量多源异构数据的清洗整合存储的方法，发明的方案如下：具体方法步骤是：

步骤一，构造数据源集合；

步骤二，遍历数据源集合；

步骤三，数据接入环节；

步骤四，协议适配环节，形成1阶数据，推送缓存队列；

步骤五，拉取1阶数据，清洗环节，形成2阶数据，推送缓存队列；

步骤六，取2阶数据，主被动混合模式转换整合环节，形成3阶数据，推送缓存队列；

步骤七，拉取3阶数据，分布存储环节，完成最终存储。

进一步地，在步骤一中，所述的构造数据源集合，为海量多源异构数据源构造成的原始采集数据源集合；

进一步地，在步骤二中，所述的遍历数据源集合，其遍历过程需记录集合中各个数据源的源类型、源个数、源维度以及源数据协议。

进一步地，在步骤三中所述的数据接入环节，为数据源在进行数据处理前的接入。

进一步地，在步骤四中，所述的协议适配环节，按照各数据源的源类型及数据协议进行对应的首次解析，解析后的数据形成1阶数据，推送至数据缓存队列中的1阶主题；

进一步地，所述的清洗环节，首先进行1阶数据拉取，然后依据数据清洗规则进行异常、问题数据的清洗、剔除，清洗后的数据形成2阶数据，推送至数据缓存队列的2阶主题；

进一步地，所述的主被动混合模式转换整合环节，首先进行2阶数据拉取，一部分特殊动态数据按照主动自定义模式进行转换整合，一部分常规业务数据按照被动自动化模式进行转换整合，两个模式整合后的数据形成3阶数据，推送至数据缓存队列中的3阶主题；

进一步地，所述的存储环节，先拉取3阶数据，然后通过分布式机制进行海量数据存储，将业务基础数据存入到关系型存储中，将动态时序数据存入到时序存储中，完成最终存储。

本发明的有益效果包括：