[发明专利]一种分布式并行数据库资源管理方法

说明书

本发明一种分布式并行数据库资源管理方法其应用于N个相互连接的节点，包括当接收输出第一数据指令时，将所述第二数据解压为第三数据，对比每个节点组中的节点输出的第三数据的通过哈希算法得出的第三哈希值是否一致，若不一致，分别对比至少两个第四数据通过哈希算法生成的第四哈希值是否与第一哈希值相同，若相同，则将所述第四数据转化为第一数据输出。本发明在传统的分布式并行数据库中引了节点组的概念而将多个节点的数据安全视为了一个整体，而在这个整体中，每个节点均为独立的个体。从而判定节点组中的安全的节点和不安全的节点，而将不安全的节点断开，使每个节点组都是更加安全的，并保证高性能和高可用性。

技术领域

本发明涉及一种处理大数据的技术方案，特别是涉及一种通过分布式并行数据库资源管理大数据的方法。

背景技术

随着海量数据问题的出现，特别是对于大数据处理的问题。海量管理能力，多类型，变化快，高可用性，低成本高端可扩展性等需求给企业数据斩落带来了巨大挑战，也是目前业界的普遍困扰。

分布式并行数据库通常是一种解决上述问题的具有高性能(High Performance)和高可用性(HighAvailability)的解决方案。

分布式并行数据库可保证在一个节点宕机之后仍然保持高性能和高可用性。

但是对于数据的安全性，传统的数据库依旧不是太理想。因此，针对需要更安全需求的用户而言，目前亟需一种能够更安全的分布式并行数据库资源管理方法。

发明内容

本发明要解决的技术问题是提供一种能够更安全的分布式并行数据库资源管理方法。

本发明一种分布式并行数据库资源管理方法，包括

输入第一数据；

通过哈希算法输出第一数据的第一哈希值；

按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据；

将所述N个相互连接的节点按照预设分配方式分配为M个节点组，其中，N大于2M且每个节点组的节点数量均大于2；

将所述M个第二数据按照预设分发方式发送至M个节点组内存储；

当接收输出第一数据指令时，将所述第二数据解压为第三数据，对比一个节点组的节点与节点之间输出的第三数据的通过哈希算法得出的第三哈希值是否一致，若一致，则将所述第三数据按照预设组合方式输出为第一数据；若不一致，则分别将节点组中的每个节点的第三数据的按照预设组合方式输出为至少两个第四数据，分别对比至少两个第四数据通过哈希算法生成的第四哈希值是否与第一哈希值相同，若相同，则将所述第四数据转化为第一数据输出，若不同则断开组合出第四数据的若不一致的第三数据所在的节点与其他节点的连接。

本发明一种分布式并行数据库资源管理方法，其中所述预设拆分方式和预设分发方式包括：

获取所述第一数据中的文件类型；

判定文件类型数量是否超过第一预设阈值，若是，则按文件类型将每个第一数据拆分为多个容量小于等于预设容量的数据封包，并压缩后按顺序分配至每个节点组；若否，则将所述第一数据平分为M个或M的倍数个，并压缩后按顺序分配至M个节点组内存储。

本发明一种分布式并行数据库资源管理方法，其中所述预设组合方式为：以每个节点组顺序排列第三数据并将其组合为第一数据。

本发明通过上述方式保证组合出的第一数据的顺序与其拆分时一致。

本发明一种分布式并行数据库资源管理方法，其中所述预设分配方式包括：