[发明专利]异构存储扩展系统及方法

权利要求书

1.一种异构存储扩展系统，其特征在于，包括：

获取模块，配置为获取待存储数据；

数据处理模块，配置为对所述待存储数据进行审核、校验、数据清洗、数据匹配和/或数据转换处理；

异构存储模块，配置为将所述待存储数据存储至相匹配的数据库中；

数据库模块，配置为存储所述待存储数据，其中所述待存储数据与所述数据库类型相匹配；

扩展模块，配置为为所述获取模块提供扩展数据接口，以及为所述异构存储模块提供接入扩展。

2.根据权利要求1所述的系统，其特征在于，所述获取模块包括：

网络爬虫模块，配置为采用网络爬虫技术获取互联网上的待存储数据；

离线数据获取模块，配置为导入离线状态下的待存储数据；

外部数据获取模块，配置为为外部的待存储数据提供接口引擎。

3.根据权利要求2所述的系统，其特征在于，所述网络爬虫模块包括：

资源管理模块，配置为对所抓取的所述待存储数据对应的网站资源进行管理

反监控管理模块，配置为采用反爬机制对所述网站资源进行反监控管理；

抓取管理模块，配置为对抓取线程进行调度，并解析所抓取的内容以获得所述待存储数据；

监控管理模块，配置为监控所述网站资源的可访性。

4.根据权利要求1所述的方法，其特征在于，数据处理模块包括：

数据校验模块，配置为校验所述待存储数据；

数据清洗模块，配置为对所述待存储数据进行数据脱敏、数据查重和/或数据除脏；

数据匹配模块，配置为确定所述待存储数据与元数据是否匹配；

数据转换模块，配置为对所述待存储数据进行合并、拆分、转码、去重、标识，以使所述待存储数据标准化。

5.根据权利要求1所述的方法，其特征在于，异构存储模块包括：

数据接入模块，配置为将经过处理的待存储数据进行异构存储适配；

数据访问模块，配置为控制对数据库中所述待存储数据的数据读写。

6.根据权利要求4所述的方法，其特征在于，其中，所述数据库包括以下至少一种：

关系型数据库、非关系型数据库和分布式文件系统。

7.一种异构存储扩展方法，其特征在于，所述方法包括：

获取待存储数据；

对所述待存储数据进行审核、校验、数据清洗、数据匹配和/或数据转换处理；

将所述待存储数据存储至相匹配的数据库中；

其中，可对用于获取所述待存储数据的数据接口进行扩展，当存储所述待存储数据时，可对用于存储所述待存储数据的数据接口进行扩展；其中，所述数据与所述数据库类型相匹配。

8.根据权利要求7所述的方法，其特征在于，获取待存储数据包括：

采用网络爬虫技术获取互联网上的待存储数据；

导入离线状态下的待存储数据；

为外部的待存储数据提供接口引擎。

9.根据权利要求7所述的方法，其特征在于，采用网络爬虫技术获取互联网上的待存储数据包括：

对所抓取的所述待存储数据对应的网站资源进行管理

采用反爬机制对所述网站资源进行反监控管理；

对抓取线程进行调度，并解析所抓取的内容以获得所述待存储数据；

监控所述网站资源的可访性。

10.根据权利要求7所述的方法，其特征在于，对所述待存储数据进行审核、校验、数据清洗、数据匹配和/或数据转换处理包括：

校验所述待存储数据；

对所述待存储数据进行数据脱敏、数据查重和/或数据除脏；

确定所述待存储数据与元数据是否匹配；

对所述待存储数据进行合并、拆分、转码、去重、标识，以使所述待存储数据标准化。

11.根据权利要求7所述的方法，其特征在于，将所述待存储数据存储至相匹配的数据库中包括：

将经过处理的待存储数据进行异构存储适配；

控制对数据库中所述待存储数据的数据读写。