[发明专利]一种抓取网站确定方法及装置有效
申请号: | 201210356892.X | 申请日: | 2012-09-21 |
公开(公告)号: | CN102880698A | 公开(公告)日: | 2013-01-16 |
发明(设计)人: | 张鹏;顾淼;余红 | 申请(专利权)人: | 新浪网技术(中国)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 郭润湘 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 抓取 网站 确定 方法 装置 | ||
1.一种抓取网站确定方法,其特征在于,包括:
获取应用终端在设定时间段内访问指定网站的时刻,以及访问所述指定网站的次数;
根据获取的访问所述指定网站的时刻,确定所述应用终端在设定时间段内访问所述指定网站的时间离散度;
根据确定的所述时间离散度与离散度阈值的大小关系,以及获取的所述次数与访问次数阈值的大小关系,确定所述应用终端是否为抓取网站的应用终端。
2.如权利要求1所述的方法,其特征在于,所述根据获取的访问所述指定网站的时刻,确定所述应用终端在设定时间段内访问所述指定网站的时间离散度,具体包括:
根据获取的访问所述指定网站的时刻,确定每相邻两次访问所述指定网站的各时间间隔;
确定所述各时间间隔的方差,所述方差表征所述应用终端在设定时间段内访问所述指定网站的时间离散度。
3.如权利要求1所述的方法,其特征在于,所述根据获取的访问所述指定网站的时刻,确定所述应用终端在设定时间段内访问所述指定网站的时间离散度,具体包括:
根据获取的访问所述指定网站的时刻,确定每相邻两次访问所述指定网站的各时间间隔;
确定所述各时间间隔的标准差,所述标准差表征所述应用终端在设定时间段内访问所述指定网站的时间离散度。
4.如权利要求1-3任一所述的方法,其特征在于,所述根据确定的所述时间离散度与离散度阈值的大小关系,以及获取的所述次数与访问次数阈值的大小关系,确定所述应用终端是否为抓取网站的应用终端,具体包括:
当确定的所述时间离散度小于离散度阈值,且获取的所述次数小于访问次数阈值时,确定所述应用终端为抓取网站的应用终端,否则,确定所述应用终端不是抓取网站的应用终端。
5.如权利要求1-3任一所述的方法,其特征在于,所述根据确定的所述时间离散度与离散度阈值的大小关系,以及获取的所述次数与访问次数阈值的大小关系,确定所述应用终端是否为抓取网站的应用终端,具体包括:
当确定的所述时间离散度小于离散度阈值,且获取的所述次数小于访问次数阈值时,获取所述应用终端在所述设定时间段内每次访问所述指定网站所采用接口的接口类型,否则,确定所述应用终端不是抓取网站的应用终端;
当采用指定类型接口访问所述指定网站的次数大于接口访问次数阈值时,确定所述应用终端为抓取网站的应用终端,否则,确定所述应用终端不是抓取网站的应用终端,所述指定类型接口为用于获取所述指定网站上指定内容信息的接口。
6.一种抓取网站确定装置,其特征在于,包括:
获取单元,用于获取应用终端在设定时间段内访问指定网站的时刻,以及访问所述指定网站的次数;
第一确定单元,用于根据获取的访问所述指定网站的时刻,确定所述应用终端在设定时间段内访问所述指定网站的时间离散度;
第二确定单元,用于根据确定的所述时间离散度与离散度阈值的大小关系,以及获取的所述次数与访问次数阈值的大小关系,确定所述应用终端是否为抓取网站的应用终端。
7.如权利要求6所述的装置,其特征在于,所述第一确定单元,具体用于根据获取的访问所述指定网站的时刻,确定每相邻两次访问所述指定网站的各时间间隔;并确定所述各时间间隔的方差,所述方差表征所述应用终端在设定时间段内访问所述指定网站的时间离散度。
8.如权利要求6所述的装置,其特征在于,所述第一确定单元,具体用于根据获取的访问所述指定网站的时刻,确定每相邻两次访问所述指定网站的各时间间隔;并确定所述各时间间隔的标准差,所述标准差表征所述应用终端在设定时间段内访问所述指定网站的时间离散度。
9.如权利要求6-8任一所述的装置,其特征在于,所述第二确定单元,具体用于当确定的所述时间离散度小于离散度阈值,且获取的所述次数小于访问次数阈值时,确定所述应用终端为抓取网站的应用终端,否则,确定所述应用终端不是抓取网站的应用终端。
10.如权利要求6-8任一所述的装置,其特征在于,所述第二确定单元,具体用于当确定的所述时间离散度小于离散度阈值,且获取的所述次数小于访问次数阈值时,获取所述应用终端在所述设定时间段内每次访问所述指定网站所采用接口的接口类型,否则,确定所述应用终端不是抓取网站的应用终端;以及当采用指定类型接口访问所述指定网站的次数大于接口访问次数阈值时,确定所述应用终端为抓取网站的应用终端,否则,确定所述应用终端不是抓取网站的应用终端,所述指定类型接口为用于获取所述指定网站上指定内容信息的接口。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新浪网技术(中国)有限公司,未经新浪网技术(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210356892.X/1.html,转载请声明来源钻瓜专利网。