[发明专利]一种用于检索的调整方法及装置有效
申请号: | 201911233481.X | 申请日: | 2019-12-05 |
公开(公告)号: | CN110968762B | 公开(公告)日: | 2023-07-18 |
发明(设计)人: | 刘海忠;牛亮 | 申请(专利权)人: | 北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/953;G06F16/957;G06F9/50 |
代理公司: | 北京金信知识产权代理有限公司 11225 | 代理人: | 张放 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用于 检索 调整 方法 装置 | ||
1.一种用于检索的调整方法,包括:
以主节点、数据节点、协调节点、资源、索引、待存储数据、用于存储数据的存储分片中至少一种类型,确定检索系统中的待调整对象;
针对不同类型的待调整对象配置调整策略,以通过调整该待调整对象启动检索系统的海量数据存储和查询;
当所述待调整对象为主节点、数据节点和资源时,针对不同类型的待调整对象配置调整策略,包括:
向所述主节点分配第一预设比例的资源,其中,所述资源包括以下至少一种资源:系统运行时所需的CPU资源、内存资源、硬盘资源以及网络资源;
向所述数据节点分配第二预设比例的资源,其中,预设比例为所分配的资源与系统总资源的比例,所述第一预设比例小于或等于第二预设比例。
2.如权利要求1所述的方法,其特征在于,当所述待调整对象为协调节点、索引和资源时,针对不同类型的待调整对象配置调整策略,包括:
确定本地的索引数量和各索引的量级;
根据索引数量和各索引的量级,向所述索引配置对应的协调节点,其中,各协调节点所分配的资源大小与其对应索引的量级正相关。
3.如权利要求1所述的方法,其特征在于,当所述待调整对象为待存储数据和用于存储待存储数据的存储分片时,针对不同类型的待调整对象配置调整策略,包括:
确定待存储数据对应的存储分片编号;
将所述待存储数据存储到所述存储分片编号对应的存储分片中。
4.如权利要求1所述的方法,其特征在于,当所述待调整对象为索引时,针对不同类型的待调整对象配置调整策略,包括:
获取预定义的索引模板;
根据预定义的索引模板生成相应的索引,其中,同一索引模板生成相同类型的索引;
根据生成的索引中文档的创建日期对所述索引进行切割,以形成多个切割后的索引。
5.如权利要求1所述的方法,其特征在于,当所述待调整对象为数据节点时,针对不同类型的待调整对象配置调整策略,包括:
获取各数据节点对应的访问频次;
根据各数据节点对应的访问频次确定热门数据节点和非热门数据节点;
将所述热门数据节点的资源上调至第三预设比例;
将所述非热门数据节点的资源下调至第四预设比例,并禁止所述非热门数据节点的读写操作,其中,所述第三预设比例大于第二预设比例,所述第四预设比例小于第二预设比例。
6.如权利要求5所述的方法,其特征在于,当所述待调整对象为数据节点时,针对不同类型的待调整对象配置调整策略,还包括:
根据第一预设频率获取所述热门数据节点中存储的目标数据的创建时间和访问频次;
根据所述目标数据的创建时间和访问频次确定所述目标数据中的热门数据和非热门数据;
将所述目标数据中的非热门数据从所述热门数据节点中迁移至所述非热门数据节点中;
根据创建时间和访问频次将所述目标数据中的热门数据进行排序;
确定排名最靠前的预设数目条热门数据为目标热门数据;
根据第二预设频率对所述目标热门数据进行查询,以使所述目标热门数据存放至缓存中;其中,所述第二预设频率小于或等于缓存自动清理的时间间隔。
7.如权利要求1所述的方法,其特征在于,当所述待调整对象为存储分片时,针对不同类型的待调整对象配置调整策略,包括:
获取目标索引对应的数据;
判断存储所述目标索引对应的数据的存储分片的数目;
当所述存储分片的数目大于预设数目时,调用合并方法将所述存储分片进行合并,以使所述存储分片的数目变为目标数目,其中,所述预设数目大于所述目标数目。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司,未经北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911233481.X/1.html,转载请声明来源钻瓜专利网。