[发明专利]一种非结构化数据的海量存储方法及存储系统

权利要求书

1.一种非结构化数据的海量存储方法，其特征在于，包括如下步骤：

步骤100、将云存储空间划分为若干个用于存储不同文件类型的分布式存储模块；

步骤200、利用空间模拟法将所述分布式存储模块划分为若干个子存储集群，设定数据流在所述子存储集群中的存储方式；

其中在步骤200中，所述空间模拟法将所述分布式存储模块按照三维矩阵划分为若干个立体分布的所述子存储集群，同一个类型的数据流按序存储在不同立体位置的所述子存储集群内；

根据所述子存储集群分布特征，设定数据流在所述子存储集群的存储方式的具体实现步骤为：

沿着立体分布的所述子存储集群的三个直角相交的棱边构建三维直角坐标系；

标记每个所述子存储集群在所述三维直角坐标系内的三维坐标；

具体设定数据流先顺次按照上下层的方式存储，然后在每层子存储集群按照先行后列的方式保存；

步骤300、在相邻两个所述子存储集群之间设置虚拟通道，架设前端数据源头与所述子存储集群之间匹配对应的传输通信链路；

步骤400、将若干个相邻所述子存储集群组成一个存储实现单元，利用同一个存储实现单元的所述虚拟通道实现快速存储；

其中，在步骤400中，所述存储实现单元以其中一个所述子存储集群作为主存储对象，并将其他的所述子存储集群作为缓冲池；

在同一个所述存储实现单元通过所述虚拟通道实现快速存储的具体实现步骤为：

步骤401、将一个所述存储实现单元内的主存储对象的导入端口与所述传输通信链路连接导通，将前端数据通过所述主存储对象的导入端口存储在所述主存储对象内；

步骤402、实时监测所述传输通信链路的滞留数据大小，根据滞留数据大小，依次打开同一个存储实现单元的其他作为缓冲池的所述子存储集群；

步骤403、所述前端数据通过虚拟通道导入主存储对象内；

步骤404、利用内存监测器实时监控所述存储实现单元的所述主存储对象的剩余容量，根据所述主存储对象的剩余容量调整到下一个所述存储实现单元的所述主存储对象进行数据存储，上一个所述存储实现单元内作为缓冲池的子存储集群是下一个所述存储实现单元的主存储对象。

2.根据权利要求1所述的一种非结构化数据的海量存储方法，其特征在于，在步骤300中，所述虚拟通道设置在三维坐标系中同一层的所述子存储集群之间以及相邻的两层所述子存储集群之间，所述子存储集群整体通过所述虚拟通道实现数据贯通存储，所述虚拟通道将数据流在所述子存储集群沿着“S”形依次顺序保存。

3.根据权利要求1所述的一种非结构化数据的海量存储方法，其特征在于，在步骤402中，所述传输通信链路与所述存储实现单元的连接端设有若干个分段链路末梢，所述分段链路末梢上均设有与所述存储实现单元内的子存储集群一一对应的入库端口，按照与主存储对象的距离从近到远的顺序将分段链路末梢与作为缓冲池连通，并按照与主存储对象的距离从远到近的顺序将分段链路末梢与作为缓冲池的子存储集群断开。

4.一种非结构化数据的海量存储系统，基于权利要求1-3任一项所述的非结构化数据的海量存储方法，其特征在于，包括：

云存储空间分化模块(1)，用于将云存储空间划分为若干个分别存储不同文件类型的分布式存储模块；

存储模块拆分单元(2)，用于将分布式存储模块拆分为三维立体矩阵分布的子存储集群；

虚拟通道单元(3)，用于将两个相邻的子存储集群进行数据互通；

存储实现单元(4)，用于将若干个子存储集群组合分为一个主存储对象和其他多个缓冲池。

5.根据权利要求4所述的一种非结构化数据的海量存储系统，其特征在于：所述虚拟通道单元(3)为每个子存储集群增设用于降低数据入库压力的数据缓冲区，所述数据流从相邻的子存储集群转移到正在存储数据的子存储集群内。