[发明专利]一种基于云存储的数据分散存储系统

说明书

本发明公开了一种基于云存储的数据分散存储系统，涉及数据存储技术领域。本发明包括客户端、数据除重模块、处理器、数据引用监控装置、第一云存储装置、第二云存储装置、第三云存储装置；数据除重模块接收客户端上传的数据信息并通过重复数据删除对数据信息进行除重，处理器将除重后的数据信息进行数据布局并分别存储到第一云存储装置、第二云存储装置和第三云存储装置。本发明通过对数据进行处理得到除重后数据信息，并获得数据引用率，通过数据引用率判断该段数据信息属性，采用基于复制的数据分布策略对数据信息进行存储从而降低处理器所需的运算步骤；采用基于纠删码的数据布局策略从而能够获得较高的存储效率。

技术领域

本发明属于数据存储技术领域，特别是涉及一种基于云存储的数据分散存储系统。

背景技术

随着数据的爆炸式增长，数据存储系统如何对海量数据有效的进行查询、写入等处理成为了数据存储领域的研究重点。数据存储系统是指由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备和处理算法所组成的系统。随着存储数据越来越多，存储系统的存储空间也越来越大，对数据存储系统的处理性能要求也越来越高。

目前数据存储的方式主要是通过设置一大型数据库来专用的存储海量数据，这种数据存储方式，虽然可通过大型数据库满足海量数据的高存储量要求，但从大型数据库中查询、写入某一数据的效率大幅的降低，牺牲了数据处理效率，因此，提供一种基于云存储的数据分散存储系统，解决上述问题。

发明内容

本发明的目的在于提供一种基于云存储的数据分散存储系统，通过客户端、数据除重模块、处理器、数据引用监控装置、第一云存储装置、第二云存储装置、第三云存储装置的设置，解决了现有的海量数据高存储量情况下数据处理效率低、安全性能差的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于云存储的数据分散存储系统，包括客户端、数据除重模块、处理器、数据引用监控装置、第一云存储装置、第二云存储装置、第三云存储装置；其中，所述客户端向数据除重模块上传所需存储的数据信息；所述数据除重模块接收客户端上传的数据信息并通过重复数据删除对数据信息进行除重，所述数据除重模块用于将除重后的数据信息传输到处理器；其中，所述处理器与数据引用监控装置电连接，所述数据引用监控装置与数据除重模块电连接；所述数据引用监控装置用于自动获取数据信息的引用率并将其传输到处理器；所述处理器接收数据除重模块传输的除重后的数据信息；所述处理器接收数据引用监控装置传输的数据信息引用率，所述处理器将除重后的数据信息进行数据布局并分别存储到第一云存储装置、第二云存储装置和第三云存储装置。

进一步地，所述重复数据删除包括如下步骤：SS01：对所有数据进行自动检索并进行分块；SS02：采用基于块级的数据分块监测技术自动从数据信息中判断出重复数据信息；SS03：对重复数据信息进行删除并保留重复数据信息的单一副本，并使用指向单一副本的指针替换其他重复的副本；SS04：得到除重之后的数据信息。

进一步地，所述数据布局包括如下步骤：S1：处理器通过数据引用监控装置自动获取数据除重模块在对数据信息除重时获取到的数据信息引用率；S2：处理器将数据信息引用率与引用率预设值进行比较，当数据信息引用率大于引用率预设值时采用基于复制的数据分布策略对数据信息进行存储；S3：当数据信息引用率小于等于引用率预设值时采用基于纠删码的数据布局策略；S4：将数据信息存储到第一云存储装置、第二云存储装置、第三云存储装置。

进一步地，所述基于块级的数据分块监测技术采用基于定长的数据分块技术。

本发明具有以下有益效果：