[发明专利]一种网页分类的方法和装置有效
申请号: | 201510378183.5 | 申请日: | 2015-06-30 |
公开(公告)号: | CN104965905B | 公开(公告)日: | 2018-05-04 |
发明(设计)人: | 王建刚;沈亮;邓本洋;陈培军 | 申请(专利权)人: | 北京奇虎科技有限公司;奇智软件(北京)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京润泽恒知识产权代理有限公司11319 | 代理人: | 苏培华 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 网页 分类 方法 装置 | ||
1.一种网页分类的方法,其中,包括:
从待预测网页中解析多个网页元素;
根据各个网页元素分别预测所述待预测网页所属的候选网页分类;
通过比对各个网页元素分别预测的候选网页分类,确定所述待预测网页的最终网页分类;
在所述从待预测网页中解析多个网页元素之前,所述方法还包括:针对各个网页元素,分别创建基于所述网页元素预测所述网页分类的预测模型;所述根据各个网页元素分别预测所述待预测网页所属的候选网页分类包括:根据各个网页元素对应的预测模型分别预测所述待预测网页所属的候选网页分类;
其中,所述针对各个网页元素,分别创建基于所述网页元素预测所述网页分类的预测模型包括:基于搜索日志挖掘多个网页分类以及属于所述网页分类的查询词;针对各个网页元素,分别根据所述搜索日志中相关联的查询词和所述网页元素,创建根据所述网页元素预测所述网页分类的预测模型。
2.根据权利要求1所述的方法,其中,所述基于搜索日志挖掘多个网页分类以及属于所述网页分类的查询词包括:
统计所述搜索日志中各个查询词的查询频度;
提取查询频度高于预设阀值或是预设比例的查询词作为网页分类;
提取与所述网页分类触发同一网页的查询词添加至所述网页分类。
3.根据权利要求2所述的方法,其中,当所述网页元素包括根域名时,所述预测模型包括根据所述根域名预测所述网页分类的第一预测模型,所述针对各个网页元素,分别根据所述搜索日志中相关联的查询词和所述网页元素,创建根据所述网页元素预测所述网页分类的预测模型包括:
提取所述搜索日志对应访问的历史网页的根域名;
根据所述搜索日志访问的多个历史网页以及触发所述历史网页的查询词,统计各个根域名对应的查询词;
根据所述查询词所属的网页分类,计算所述根域名属于各个网页分类的第一概率值,并根据所述第一概率值创建包括所述根域名属于各个网页分类的判断条件的第一预测模型;
所述根据各个网页元素对应的预测模型分别预测所述待预测网页所属的候选网页分类包括:
提取目标网页的根域名输入所述第一预测模型;
所述第一预测模型判断所述根域名属于某个所述网页分类的第一概率值大于第一目标概率值,则将所述网页分类作为所述目标网页所属的候选网页分类。
4.根据权利要求3所述的方法,其中,当所述网页元素包括网页标题时,所述预测模型包括根据所述网页标题预测所述网页分类的第二预测模型,所述针对各个网页元素,分别根据所述搜索日志中相关联的查询词和所述网页元素,创建根据所述网页元素预测所述网页分类的预测模型包括:
根据所述网页分类以及属于所述网页分类的查询词,生成根据所述查询词检索所述网页分类的第一倒排索引,创建包括所述第一倒排索引的第二预测模型;
所述根据各个网页元素对应的预测模型分别预测所述待预测网页所属的候选网页分类包括:
提取所述目标网页的网页标题中包括的查询词输入所述第二预测模型;
所述第二预测模型按照所述第一倒排索引查找所述查询词对应的网页分类,并将查找的网页分类作为所述目标网页所属的候选网页分类。
5.根据权利要求3所述的方法,其中,当所述网页元素包括网页标题时,所述预测模型包括根据所述网页标题预测所述网页分类的第二预测模型时,所述针对各个网页元素,分别根据所述搜索日志中相关联的查询词和所述网页元素,创建根据所述网页元素预测所述网页分类的预测模型包括:
依据所述网页分类下的查询词,对各个网页分类添加预先搜集的查询词,生成根据添加的查询词检索所述网页分类的第二倒排索引,创建包括所述第二倒排索引的第二预测模型;
所述根据各个网页元素对应的预测模型分别预测所述待预测网页所属的候选网页分类包括:
提取所述目标网页的网页标题中包括的查询词输入所述第二预测模型;
所述第二预测模型按照所述第二倒排索引查找提取的查询词对应的网页分类,并将查找的网页分类作为所述目标网页所属的候选网页分类。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件(北京)有限公司,未经北京奇虎科技有限公司;奇智软件(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510378183.5/1.html,转载请声明来源钻瓜专利网。