[发明专利]数据分布式存储系统及方法

说明书

技术领域

本发明属于数据库存储技术领域，涉及一种分布式存储系统，尤其涉及一种数据分布式存储系统；同时，本发明还涉及一种数据分布式存储方法。

背景技术

目前，数据库的数据存储方式有：1.单机数据存储方式；2.主从备份存储方式；3.利用分布式文件系统的存储方式。然而，无论采用以上哪种方式，都存在着一定的不足。

单机数据存储方式虽然便于管理和使用，但是可扩展性存在严重缺陷难以满足当今海量数据的存取需要，数据的安全性也存在问题。主从备份存储方式只解决了安全性问题，其他问题依然存在。利用分布式文件系统的数据库存储方式，虽然解决了数据的安全性和海量数据的存取需求，但是并不适合那些要求低延迟的数据访问和处理。

有鉴于此，如今迫切需要设计一种新的针对数据库的分布式存储系统和方法，以便解决现有存储系统的上述缺陷。

发明内容

本发明所要解决的技术问题是：提供一种针对数据库的分布式存储系统，可实现基于加速内存计算能力的集群以及提升对大规模数据实时加载和处理能力，加快整个系统的响应时间。

此外，本发明还提供一种数据分布式存储方法，可实现基于加速内存计算能力的集群以及提升对大规模数据实时加载和处理能力，加快整个系统的响应时间。

为解决上述技术问题，本发明采用如下技术方案：

一种数据分布式存储系统，所述系统包括：

注册模块，用以通过客户端将集群内的数据节点注册到管理节点；

数据导入模块，用以对输入的数据按照设定大小的数据块进行扫描并载入内存，内存中的数据按照数据的特征值将其分组，而后将分组后的数据发送到相应的数据节点；所述数据导入模块具体包括数据扫描单元、数据分组规则匹配单元、数据分组单元、数据发送单元；所述数据扫描单元以对输入的数据按照设定大小的数据块进行扫描并载入内存，并用以按照数据特征值对数据进行切分并按照特征值生成一个整型数值作为数据的标识码；所述数据分组规则匹配单元用以根据不同数据的数据标识码将该标识码按照分组规则对其分组；所述数据分组单元用以将内存中经过扫描的设定大小数据块按照数据的特征值进行分组；所述数据发送单元将分组后的数据发送至相应的数据节点；

存储模块，用以在数据节点接收到文件分片后将数据分片保留在内存中，判断是否需要将该数据备份到其它数据节点，如需要则通过备份模块进行备份；数据节点输出日志至硬盘，用于数据内存数据恢复；判断内存中的数据大小是否超过所设定的阀值，如超过则将数据按照元数据特征进行归类，经过数据的重新组织后，再进行压缩；对数据的重新组织的方式主要是按照数据的特征值，以及数据间的相似度进行排序，使得最大相似度的数据会连续存放，为下一步的数据压缩存储做准备；经过数据的重新组织以后，由于相似的数据会存放在一起，采用LZAM算法对其压缩，以取得较高的压缩率，然后再后写入硬盘，并删除对应的用户内存数据恢复的日志文件；

备份模块，用以在数据传输到相应的数据节点上后，对该数据按照设定的备份数目进行备份，备份的数据将被分发到其它数据节点上；

检索模块，用以在管理节点收到数据检索的请求后对相应数据进行检索；检索模块具体包括定位单元、失效判断单元、请求分发单元、检索单元、结果合并单元；管理节点通过定位单元定位数据检索请求所涉及的数据节点；管理节点通过失效判断单元采用Lease机制确定该数据节点是否失效，如失效则直接返回请求失败信息，若有效，管理节点通过请求分发单元分发请求到相应节点；数据节点接收数据检索请求后，通过检索单元对相应数据进行检索后返回结果到客户端；客户端利用结果合并单元将接收到的结果进行合并。

一种数据分布式存储系统，所述系统包括：

节点集群模块，用以将集群内的数据节点连接对应的管理节点；

数据导入模块，用以对输入的数据按照设定大小的数据块进行扫描并载入内存，内存中的数据按照数据的特征值将其分组，而后将分组后的数据发送到相应的数据节点；

存储模块，用以在数据节点接收到文件分片后将数据分片保留在内存中，数据节点输出日志至硬盘，用于数据内存数据恢复；判断内存中的数据大小是否超过所设定的阀值，如超过则将数据重新组织，压缩后写入硬盘，并删除对应的用户内存数据恢复的日志文件。

作为本发明的一种优选方案，所述数据导入模块具体包括数据切分单元、文件扫描单元、数据分组规则匹配单元、数据分组单元、数据发送单元；