[发明专利]异构存储扩展系统及方法

说明书

本发明公开了一种异构存储扩展系统及方法，所述系统包括：获取模块，配置为获取待存储数据；数据处理模块，配置为对所述待存储数据进行审核、校验、数据清洗、数据匹配和/或数据转换处理；异构存储模块，配置为将所述待存储数据存储至相匹配的数据库中；数据库模块，配置为存储所述待存储数据，其中所述待存储数据与所述数据库类型相匹配；扩展模块，配置为为所述获取模块提供扩展数据接口，以及为所述异构存储模块提供接入扩展。本发明实施例的技术方案具有高扩展性，避免因为业务扩展导致的数据接入受限的问题。

技术领域

本发明涉及大数据领域，特别涉及一种异构存储扩展系统及方法。

背景技术

当前主流大数据产品中，分布式文件系统（Hadoop Distributed File System，HDFS）分布式文件系统的扩展为大数据平台提供冷热数据分离的存储机制，实现冷热数据分区、存储介质选择、数据调取规范等功能。在使用分布式系统存储数据时，可对HDFS原生的存储系统进行优化和迭代，形成自有服务或产品。随着数据采集、数据清洗、建模分析、可视化应用等多个数据应用过程的接入，大量的适配工作需要进行。

在对分布式存储系统开发过程中，由于时间周期、业务需求等方面的局限性，开发者往往着重于HDFS的内容稳定性、可靠性，而仅仅在可视化层面体现可扩展性。但是随着互联网爆发式的发展，数据来源多、种类多，尤其是在数据接入、存储、访问等方面，对分布式存储系统的扩展性能的要求更高。

发明内容

有鉴于此，本发明实施例为解决背景技术中提出的至少一个技术问题，提供至少一种有益的选择。

为了实现上述目的，本发明实施例提供了一种异构存储扩展系统，包括：

获取模块，配置为获取待存储数据；

数据处理模块，配置为对所述待存储数据进行审核、校验、数据清洗、数据匹配和/或数据转换处理；

异构存储模块，配置为将所述待存储数据存储至相匹配的数据库中；

数据库模块，配置为存储所述待存储数据，其中所述待存储数据与所述数据库类型相匹配；

扩展模块，配置为为所述获取模块提供扩展数据接口，以及为所述异构存储模块提供接入扩展。

优选的，所述获取模块包括：

网络爬虫模块，配置为采用网络爬虫技术获取互联网上的待存储数据；

离线数据获取模块，配置为导入离线状态下的待存储数据；

外部数据获取模块，配置为为外部的待存储数据提供接口引擎。

优选的，所述网络爬虫模块包括：

资源管理模块，配置为对所抓取的所述待存储数据对应的网站资源进行管理

反监控管理模块，配置为采用反爬机制对所述网站资源进行反监控管理；

抓取管理模块，配置为对抓取线程进行调度，并解析所抓取的内容以获得所述待存储数据；

监控管理模块，配置为监控所述网站资源的可访性。

优选的，数据处理模块包括：

数据校验模块，配置为校验所述待存储数据；

数据清洗模块，配置为对所述待存储数据进行数据脱敏、数据查重和/或数据除脏；

数据匹配模块，配置为确定所述待存储数据与元数据是否匹配；

数据转换模块，配置为对所述待存储数据进行合并、拆分、转码、去重、标识，以使所述待存储数据标准化。

优选的，异构存储模块包括：