[发明专利]分布式集群索引分片的评估方法及装置、电子设备有效
申请号: | 201810698652.5 | 申请日: | 2018-06-29 |
公开(公告)号: | CN108897858B | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 任娜;王立新 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | G06F16/31 | 分类号: | G06F16/31;G06F16/33 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡海国 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 集群 索引 分片 评估 方法 装置 电子设备 | ||
1.一种分布式集群索引分片的评估方法,包括:
获取业务方所选定的集群的配置信息以及所述业务方指定的单个索引的数据量的预估值,所述集群套餐的配置信息包括内存总容量;
获取分布式集群的节点配置信息,所述节点配置信息包括节点总数;
根据所述集群的配置信息、单个索引的数据量的预估值以及节点配置信息,计算得到单个索引的分片数量区间;其中,分片数量=(所述单个索引的数据量的预估值÷所述节点总数)÷所述内存总容量。
2.根据权利要求1所述的方法,其中,所述根据所述集群的配置信息、单个索引的数据量的预估值以及节点配置信息,计算得到单个索引的分片数量区间进一步包括:
确定内存占用量区间;
根据所述内存占用量区间、单个索引的数据量的预估值以及节点总数,计算得到单个索引的分片数量区间。
3.根据权利要求2所述的方法,其中,所述分片数量区间的最大值/最小值与所述单个索引的数据量的预估值成正比;
所述分片数量区间的最大值/最小值与所述节点总数成反比;
所述分片数量区间的最大值与所述内存占用量区间的最小值成反比,所述分片数量区间的最小值与所述内存占用量区间的最大值成反比。
4.根据权利要求1-3中任一项所述的方法,其中,在所述计算得到单个索引的分片数量区间之后,所述方法还包括:
获取索引的副本个数;
根据单个节点所能建立的分片数量最大值、所述副本个数、所述节点总数以及所述单个索引的分片数量区间,计算得到对应所述集群的配置信息所能建立的索引个数区间;其中,索引个数=所述单个节点所能建立的分片数量最大值×所述节点总数÷(1+所述副本个数)÷所述单个索引的分片数量。
5.根据权利要求4所述的方法,其中,所述索引个数区间的最大值/最小值与所述单个节点所能建立的分片数量最大值成正比;
所述索引个数区间的最大值/最小值与所述节点总数成正比;
所述索引个数区间的最大值/最小值与所述副本个数成反比;
所述索引个数区间的最大值与所述单个索引的分片数量区间的最小值成反比;所述索引个数区间的最小值与所述单个索引的分片数量区间的最大值成反比。
6.一种分布式集群索引分片的评估装置,其包括:
获取模块,适于获取业务方所选定的集群的配置信息以及所述业务方指定的单个索引的数据量的预估值,所述集群套餐的配置信息包括内存总容量;
节点获取模块,适于获取分布式集群的节点配置信息,所述节点配置信息包括节点总数;
分片计算模块,适于根据所述集群的配置信息、单个索引的数据量的预估值以及节点配置信息,计算得到单个索引的分片数量区间;其中,分片数量=(所述单个索引的数据量的预估值÷所述节点总数)÷所述内存总容量。
7.根据权利要求6所述的装置,其中,所述分片计算模块进一步适于:
确定内存占用量区间;根据所述内存占用量区间、单个索引的数据量的预估值以及节点总数,计算得到单个索引的分片数量区间。
8.根据权利要求7所述的装置,其中,所述分片数量区间的最大值/最小值与所述单个索引的数据量的预估值成正比;
所述分片数量区间的最大值/最小值与所述节点总数成反比;
所述分片数量区间的最大值与所述内存占用量区间的最小值成反比,所述分片数量区间的最小值与所述内存占用量区间的最大值成反比。
9.根据权利要求6-8任一项所述的装置,其中,所述装置还包括:
索引计算模块,适于获取索引的副本个数;根据单个节点所能建立的分片数量最大值、所述副本个数、所述节点总数以及所述单个索引的分片数量区间,计算得到对应所述集群的配置信息所能建立的索引个数区间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810698652.5/1.html,转载请声明来源钻瓜专利网。