[发明专利]搜索方法和搜索引擎有效
申请号: | 201310470200.9 | 申请日: | 2013-10-10 |
公开(公告)号: | CN104572643B | 公开(公告)日: | 2018-06-19 |
发明(设计)人: | 张涛;于晓明;杨建武 | 申请(专利权)人: | 北大方正集团有限公司;北京大学;北京北大方正电子有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 刘芳 |
地址: | 100871 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 匹配网页 搜索 索引文件 存储 搜索引擎 用户终端 磁盘 内存 匹配 发送 检索效率 搜索结果 再利用 检索 网页 占用 | ||
1.一种搜索方法,其特征在于,包括:
接收用户终端发送的用于对网页进行搜索的关键字;
利用各从节点的内存中存储的第一索引文件,进行搜索,获得与所述关键字相匹配的第一匹配网页;
若所述第一匹配网页的个数少于第一阈值,利用所述各节点的磁盘中所存储的第二索引文件,进行搜索,获得与所述关键字相匹配的第二匹配网页;所述第二索引文件是以第一时长为周期对所述各从节点的内存中所存储的所述第一索引文件周期性持久化到磁盘中获得的;
向所述用户终端发送搜索结果;所述搜索结果包括所述第一匹配网页和/或所述第二匹配网页;
其中,第一索引文件是各从节点根据原始网络数据创建的,原始网络数据是主节点以负载均衡为依据,根据各从节点的负载,向各从节点发送的。
2.根据权利要求1所述的搜索方法,其特征在于,所述若所述第一匹配网页的个数少于第一阈值,利用所述各节点的磁盘中所存储的第二索引文件,进行搜索,获得与所述关键字相匹配的第二匹配网页,包括:
利用所述各节点的磁盘中的往期索引库所存储的第二索引文件进行搜索;所述往期索引库用于存储持久化到磁盘的时间不大于第二时长的第二索引文件;
若利用所述各节点的磁盘中的往期索引库进行搜索所获得的匹配网页的个数少于第二阈值,利用所述各节点的磁盘中的历史索引库所存储的第二索引文件继续进行搜索,获得与所述关键字相匹配的第二匹配网页;所述历史索引库用于存储持久化到磁盘的时间大于所述第二时长的第二索引文件。
3.根据权利要求1或2所述的搜索方法,其特征在于,所述搜索方法还包括:
监控所述各从节点的内存的占用率;
若所述各从节点中存在所述内存的占用率超过第三阈值的从节点,根据所述第一索引文件的创建时间,依次对所述内存的占用率超过所述第三阈值的从节点的内存中所存储的已持久化到磁盘的第一索引文件进行删除。
4.根据权利要求1或2所述的搜索方法,其特征在于,所述各从节点的负载是所述各从节点利用心跳包向所述主节点发送的。
5.一种搜索引擎,其特征在于,包括:
接收模块,用于接收用户终端发送的用于对网页进行搜索的关键字;
第一搜索模块,用于利用各从节点的内存中存储的第一索引文件,进行搜索,获得与所述关键字相匹配的第一匹配网页;
第二搜索模块,用于若所述第一匹配网页的个数少于第一阈值,利用所述各节点的磁盘中所存储的第二索引文件,进行搜索,获得与所述关键字相匹配的第二匹配网页;所述第二索引文件是以第一时长为周期对所述各从节点的内存中所存储的所述第一索引文件周期性持久化到磁盘中获得的;
发送模块,用于向所述用户终端发送搜索结果;所述搜索结果包括所述第一匹配网页和/或所述第二匹配网页;
所述第一索引文件是所述各从节点根据原始网络数据创建的,所述原始网络数据是主节点以负载均衡为依据,根据所述各从节点的负载,向所述各从节点发送的。
6.根据权利要求5所述的搜索引擎,其特征在于,所述第二搜索模块,包括:
第一搜索单元,用于利用所述各节点的磁盘中的往期索引库所存储的第二索引文件进行搜索;所述往期索引库用于存储持久化到磁盘的时间不大于第二时长的第二索引文件;
第二搜索单元,用于若利用所述各节点的磁盘中的往期索引库进行搜索所获得的匹配网页的个数少于第二阈值,利用所述各节点的磁盘中的历史索引库所存储的第二索引文件继续进行搜索,获得与所述关键字相匹配的第二匹配网页;所述历史索引库用于存储持久化到磁盘的时间大于所述第二时长的第二索引文件。
7.根据权利要求5或6所述的搜索引擎,其特征在于,所述搜索引擎还包括:
监控模块,用于监控所述各从节点的内存的占用率;
删除模块,用于若所述各从节点中存在所述内存的占用率超过第三阈值的从节点,根据所述第一索引文件的创建时间,依次对所述内存的占用率超过第三阈值的从节点的内存中所存储的已持久化到磁盘的第一索引文件进行删除。
8.根据权利要求5或6所述的搜索引擎,其特征在于,所述各从节点的负载是所述各从节点利用心跳包向所述主节点发送的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北大方正集团有限公司;北京大学;北京北大方正电子有限公司,未经北大方正集团有限公司;北京大学;北京北大方正电子有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310470200.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种存储系统缓存策略自适应方法
- 下一篇:设备控制方法、装置及系统