[发明专利]一种分布式并行数据库资源管理方法有效
申请号: | 201910926413.5 | 申请日: | 2019-09-27 |
公开(公告)号: | CN110659265B | 公开(公告)日: | 2020-11-24 |
发明(设计)人: | 朱小亮;王幼林 | 申请(专利权)人: | 广州峻林互联科技有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/27;G06F21/62 |
代理公司: | 北京盛凡智荣知识产权代理有限公司 11616 | 代理人: | 赵芳蕾 |
地址: | 510710 广东省广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 并行 数据库 资源管理 方法 | ||
1.一种分布式并行数据库资源管理方法,其应用于N个相互连接的节点,其特征在于:包括
输入第一数据;
通过哈希算法输出第一数据的第一哈希值;
按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据;
将所述N个相互连接的节点按照预设分配方式分配为M个节点组,其中,所述N大于3M且每个节点组的节点数量均大于3;
将所述M个第二数据按照预设分发方式发送至M个节点组内存储;
当接收输出第一数据指令时,将所述第二数据解压为第三数据,对于每个节点组,对比节点组内的节点输出的第三数据通过哈希算法得出的第三哈希值是否一致,若一致,则将所述第三数据按照预设组合方式输出为第一数据;若不一致,则分别将节点组中的每个节点的第三数据的按照预设组合方式输出为至少两个第四数据,分别对比至少两个第四数据通过哈希算法生成的第四哈希值是否与第一哈希值相同,若相同,则将所述第四数据转化为第一数据输出,若不同则断开组合出第四数据的若不一致的第三数据所在的节点与其他节点的连接;
其中,所述预设组合方式为:以每个节点组顺序排列第三数据并将其组合为第一数据;
所述预设拆分方式和预设分发方式包括:
获取所述第一数据中的文件类型;
判定文件类型数量是否超过第一预设阈值,若是,则按文件类型将每个第一数据拆分为多个容量小于等于预设容量的数据封包,并压缩后按顺序分配至每个节点组;若否,则将所述第一数据平分为M个或M的倍数个,并压缩后按顺序分配至M个节点组内存储;
所述预设分配方式包括:
判定单位时间内,是否获取过输出第一数据指令,若否,则随机地平均分配所有节点至M个节点组;若是,则采集上一次输出第一数据指令时每个节点分别将所述第二数据解压为第三数据的节点速度,并将节点速度排名靠前的前M个节点分别随机地平均配置在M个节点组内,其他节点随机地平均分配在M个节点组内。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州峻林互联科技有限公司,未经广州峻林互联科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910926413.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于计算系统的业务处理方法、装置和计算系统
- 下一篇:一种模型的数据处理方法