[发明专利]一种大数据存储系统

说明书

技术领域

本发明涉及大数据处理技术领域，具体涉及一种大数据存储系统。

背景技术

随着科技技术的进步,全球的数据量呈几何级数逐年递增,其数据资源的庞大，导致了数据存储系统的复杂化，如何对获取的数据进行自动分类整理，筛选掉无光紧要的数据，成为大数据存储中亟待解决的技术问题。

发明内容

为了解决上述技术问题，本发明提供了一种大数据存储系统，能够将分散的、不同类型的，不同标准的数据进行有效的除重筛选和整合。

为了达到上述目的，本发明所采用的技术方案是，一种大数据存储系统，包括：异构数据同步装置、数据整合装置、数据交换装置、数据管理装置和数据转换及清理装置，异构数据同步装置与数据整合装置连接，数据整合装置与数据交换装置连接，数据交换装置与数据管理装置连接，数据管理装置与数据转换及清理装置连接。

进一步的，还包括数据抽取和装载装置，所述数据抽取和装载装置与数据转换及清理装置连接。

本发明通过采用上述技术方案，与现有技术相比，具有如下优点：

本发明通过设计一种大数据存储系统，能够将分散的、不同类型的，不同标准的数据进行有效的除重筛选和整合。

附图说明

图1是本发明的实施例的结构示意图。

具体实施方式

现结合附图和具体实施方式对本发明进一步说明。

作为一个具体的实施例，如图1所示，一种大数据存储系统，包括：异构数据同步装置1、数据整合装置2、数据交换装置3、数据管理装置4和数据转换及清理装置5，异构数据同步装置1与数据整合装置2连接，数据整合装置2与数据交换装置3连接，数据交换装置3与数据管理装置4连接，数据管理装置4与数据转换及清理装置5连接。

本实施例中，还包括数据抽取和装载装置6，所述数据抽取和装载装置与数据转换及清理装置连接。

本发明能够通过异构数据同步装置1对异构数据进行同步，数据整合装置2对不同数据进行整合，数据交换装置3对数据进行交互，数据管理装置4和数据转换及清理装置5支持RAID创建、CIFS，NFS，FTP共享应用的数据存储进行有效转换成统一标准格式存储，并通过数据抽取和装载装置6进行统一格式封装。从而实现对结构化和非结构化数据的统一管理和存储。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。