[发明专利]一种非结构化数据的海量存储方法及存储系统

说明书

本发明实施例公开了一种非结构化数据的海量存储方法及存储系统，包括如下步骤：将云存储空间划分为若干个用于存储不同文件类型的分布式存储模块；利用空间模拟法将分布式存储模块划分为若干个子存储集群，设定数据流在子存储集群和网格存储位置中的存储方式；在相邻两个子存储集群之间设置虚拟通道，架设前端数据源头与子存储集群之间匹配对应的传输通信链路；将若干个相邻子存储集群组成一个存储实现单元，利用同一个存储实现单元的虚拟通道实现快速存储；采用增设存储单元之间的虚拟通道将多个待存储单元作为入库缓冲池，提升了数据库的数据有效存储率，同时监控每个子存储集群顺次完全利用。

技术领域

本发明实施例涉及海量存储技术领域，具体涉及一种非结构化数据的海量存储方法及存储系统。

背景技术

计算机信息化系统中的数据分为结构化数据和非结构化数据，其中非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等等，因此非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。所以存储、检索、发布以及利用需要更加智能化的IT技术，比如海量存储、智能检索、知识挖掘、内容保护、信息的增值开发利用等。

将非结构化数据进行海量存储时，由于数据爆炸性导致数据在入库存储时的速度慢，严重影响数据存储的及时性，容易出现数据丢失的情况，同时由于海量存储的空间大，合理全面的利用难度大，容易出现空间利用率低的问题。

发明内容

为此，本发明实施例提供一种非结构化数据的海量存储方法及存储系统，采用增设存储单元之间的虚拟通道将多个待存储单元作为入库缓冲池，提升了数据库的数据有效存储率，同时监控每个子存储集群顺次完全利用，以解决现有技术中避免数据入库拥堵而造成数据丢失以及海量存储利用率低的问题。

为了实现上述目的，本发明的实施方式提供如下技术方案：一种非结构化数据的海量存储方法及存储系统，包括如下步骤：

步骤100、将云存储空间划分为若干个用于存储不同文件类型的分布式存储模块；

步骤200、利用空间模拟法将所述分布式存储模块划分为若干个子存储集群，设定数据流在所述子存储集群中的存储方式；

步骤300、在相邻两个所述子存储集群之间设置虚拟通道，架设前端数据源头与所述子存储集群之间匹配对应的传输通信链路；

步骤400、将若干个相邻所述子存储集群组成一个存储实现单元，利用同一个存储实现单元的所述虚拟通道实现快速存储。

作为本发明的一种优选方案，在步骤200中，所述空间模拟法将所述分布式存储模块按照三维矩阵划分为若干个立体分布的所述子存储集群，同一个类型的数据流按序存储在不同立体位置的所述子存储集群内。

作为本发明的一种优选方案，在步骤200中，根据所述子存储集群分布特征，设定数据流在所述子存储集群的存储方式的具体实现步骤为：

沿着立体分布的所述子存储集群的三个直角相交的棱边构建三维直角坐标系；

标记每个所述子存储集群在所述三维直角坐标系内的三维坐标；

具体设定数据流先顺次按照上下层的方式存储，然后在每层子存储集群按照先行后列的方式保存。

作为本发明的一种优选方案，在步骤300中，所述虚拟通道设置在所述三维坐标系中同一层的所述子存储集群之间以及相邻的两层所述子存储集群之间，所述子存储集群整体通过所述虚拟通道实现数据贯通存储，所述虚拟通道将数据流在所述子存储集群沿着“S”形依次顺序保存。

作为本发明的一种优选方案，在步骤400中，所述存储实现单元以其中一个所述子存储集群作为主存储对象，并将其他的所述子存储集群作为缓冲池。