[发明专利]一种多段索引并行检索与算分的检索方法、装置及设备在审
申请号: | 201710196630.4 | 申请日: | 2017-03-28 |
公开(公告)号: | CN108664495A | 公开(公告)日: | 2018-10-16 |
发明(设计)人: | 万明成;李洋;王刚 | 申请(专利权)人: | 广东神马搜索科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 吕静 |
地址: | 510000 广东省广州市天河区黄埔大道西平云*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 索引 检索 检索模块 并行检索 分模块 多段 装置及设备 文档信息 搜索引擎技术 并行运行 规则获得 检索效率 单片 多核 预设 并行 应用 | ||
本发明涉及一种多段索引并行检索与算分的检索方法、装置及设备,属于搜索引擎技术领域。所述多段索引并行检索与算分的检索方法,应用于多个索引段的检索与算分,所述多个索引段属于同一片单片索引,每个所述索引段对应一个独立的检索模块;所述方法包括:算分模块获取每个所述检索模块检索到的文档信息;所述算分模块根据预设的算分规则获得每个所述文档信息对应的算分结果。由于各个检索模块之间可以并行运行,且检索模块与算分模块之间也可以同步并行,这样,可以充分利用多核的优势,快速完成检索与算分,大幅提高了检索效率,并最终改善用户的体验。
技术领域
本发明属于搜索引擎技术领域,具体涉及一种多段索引并行检索与算分的检索方法、装置及设备。
背景技术
随着硬件技术的高速发展,单机处理能力得到大幅提升。SSD固态硬盘容量达到了TB级别,内存容量和CPU核数均翻倍增长,网卡也从千兆网卡升级成万兆网卡。如何有效利用这些硬件资源,提升检索性能,是当前搜索引擎急需解决的课题。单机内存容量和SSD固态硬盘容量的快速增长,意味着单机可以容纳更大规模的索引。网络带宽提升一个量级,使得节点之间可以传递更大的数据量,为单机返回更多结果提供了前提条件。然而,单机计算能力的提升,是靠CPU核数扩展得以提升,而单核CPU频率并无变化。受CPU频率限制,单线程计算能力并无改善。那么,在单机索引量增加之后,传统的串行检索与算分机制,必然会导致检索延迟大幅提升,并最终影响到用户体验。为降低因索引量增加导致的检索延迟,本提案提出一种多索引段并行检索与算分的方案。该方案可以充分利用多核的优势,能有效避免因为索引量增加而导致单机检索延迟增加。
发明内容
鉴于此,本发明的目的在于提供一种多段索引并行检索与算分的检索方法、装置及设备,以有效地改善上述问题。
本发明的实施例是这样实现的:
第一方面,本发明实施例提供了一种多段索引并行检索与算分的检索方法,应用于多个索引段的检索与算分,所述多个索引段属于同一个单片索引,每个所述索引段对应一个独立的检索模块。所述方法包括:算分模块获取每个所述检索模块检索到的文档信息;所述算分模块根据预设的算分规则获得每个所述文档信息对应的算分结果。
第二方面,本发明实施例还提供了一种多段索引并行检索与算分的检索装置,包括:检索模块和算分模块,所述检索模块,用于检索文档信息,并获取检索到的文档信息;所述算分模块,用于获取每个所述检索模块检索到的文档信息;以及,所述算分模块,还用于根据预设的算分规则获得每个所述文档信息对应的算分结果。
第三方面,本发明实施例还提供了一种多段索引并行检索与算分的检索设备,包括:存储器、处理器和多段索引并行检索与算分的检索装置,所述检索装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组,所述检索装置包括:检索模块和算分模块,所述检索模块,用于检索文档信息,并获取检索到的文档信息;所述算分模块,用于获取每个所述检索模块检索到的文档信息;以及,所述算分模块,还用于根据预设的算分规则获得每个所述文档信息对应的算分结果。
与现有技术相比,本发明实施例提供了一种多段索引并行检索与算分的检索方法、装置及设备。该方法应用于多个索引段的检索与算分,每个所述索引段对应一个独立的检索模块,每个检索模块均对应一个检索线程,各个检索线程独立进行检索,相互之间不存在数据共享,避免了因线程之间的同步带来的性能损耗,大幅降低了检索延迟。算分模块获取每个所述检索模块检索到的文档信息,并根据预设的算分规则对获得的所述文档信息进行算分,其中算分模块对应一个算分线程。由于各个检索线程之间可以并行运行,且检索线程与算分线程之间也可以同步并行,这样,可以充分利用多核的优势,快速完成检索与算分,大幅提高了检索效率,并最终改善用户的体验。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东神马搜索科技有限公司,未经广东神马搜索科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710196630.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:数据匹配的方法、装置、电子设备和储存介质
- 下一篇:数据迁移方法及装置