[发明专利]网页搜索方法和装置有效
申请号: | 201710326803.X | 申请日: | 2017-05-10 |
公开(公告)号: | CN107220307B | 公开(公告)日: | 2020-09-25 |
发明(设计)人: | 黄永峰;刘俊鑫;吴方照;刘佳伟;袁志刚;吴思行 | 申请(专利权)人: | 清华大学 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/9532;G06F40/289;G06F40/12 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网页 搜索 方法 装置 | ||
1.一种网页搜索方法,其特征在于,包括以下步骤:
获取搜索的关键字;
根据所述关键字进行搜索,得到匹配网页,以及所述匹配网页的排序;
当用户选取所述匹配网页中的第一网页进行标注之后,获取所述第一网页的标注;其中,所述标注,用于指示所述第一网页与采用所述关键字搜索的搜索意图之间的相关性;
根据所述匹配网页中的第二网页与标注为相关的第一网页之间的相关程度,和/或根据所述第二网页与标注为无关的第一网页之间的相关程度,估计所述第二网页与所述搜索意图之间的相关程度,具体包括:
提取所述第一网页的正文文本,其中,所述提取所述第一网页的正文文本,包括:获取所述第一网页的html文件;根据所述html文件中的各节点所含的链接的数量,确定包含文本内容的节点;根据包含文本内容的节点,生成所述第一网页的正文文本;去除对应控制、显示样式和/或注释的节点;
根据所述第一网页的正文文本、标题和简介,生成所述第一网页的文档;其中,所述第一网页的文档包括标注为相关的第一网页的文档,以及标注为无关的第一网页的文档;
提取所述第二网页的标题和简介,生成所述第二网页的文档;
根据所述标注为相关的第一网页的文档与所述第二网页的文档之间的相关程度,和/或所述标注为无关的第一网页的文档与所述第二网页的文档之间的相关程度,估计所述第二网页与所述搜索意图之间的相关程度;
根据所述第二网页与所述搜索意图之间的相关程度,对所述第二网页进行重新排序。
2.根据权利要求1所述的网页搜索方法,其特征在于,所述估计所述第二网页与所述搜索意图之间的相关程度,包括:
根据公式计算得到所述第二网页与所述搜索意图之间的相关程度Score;
其中,α、β、γ为预设权重,n为所述第二网页在所述匹配网页中的排序;
所述标注为相关的第一网页的文档,基于词袋模型向量化表示为V相关1;所述标注为无关的第一网页的文档,基于词袋模型向量化表示为V无关1;所述标注为相关的第一网页的文档,基于词的分布式向量表示模型向量化表示为V相关2;所述标注为无关的第一网页的文档,基于词的分布式向量表示模型向量化表示为V无关2;
S相关1为V相关1与所述第二网页的基于词袋模型向量化表示V结果1之间余弦相似度;S相关2为V相关2与所述第二网页的基于词的分布式向量表示模型向量化表示V结果2之间余弦相似度;S无关1为V无关1与所述第二网页的基于词袋模型向量化表示V结果1之间余弦相似度;S无关2为V无关2与所述第二网页的基于词的分布式向量表示模型向量化表示V结果2之间余弦相似度。
3.根据权利要求1所述的网页搜索方法,其特征在于,所述根据所述html文件中的各节点所含的链接的数量,确定包含文本内容的节点,包括:
将所述html文件中的各节点所含的链接的数量低于预设阈值的节点,确定为所述包含文本内容的节点。
4.根据权利要求1-3任一项所述的网页搜索方法,其特征在于,所述根据所述第二网页与所述搜索意图之间的相关程度,对所述第二网页进行重新排序,包括:
以所述第二网页与所述搜索意图之间的相关程度越大,所述第二网页进行重新排序后的排序越靠前为原则,对所述第二网页进行重新排序。
5.根据权利要求1-3任一项所述的网页搜索方法,其特征在于,所述获取所述第一网页的标注之前,还包括:
生成并显示交互页面,其中,所述交互页面显示有匹配页面的链接,以及用于获取标注的复选框。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710326803.X/1.html,转载请声明来源钻瓜专利网。