[发明专利]搜索引擎链接分析系统及分析方法有效
申请号: | 201810431864.7 | 申请日: | 2018-05-08 |
公开(公告)号: | CN108804540B | 公开(公告)日: | 2020-12-22 |
发明(设计)人: | 袁学文 | 申请(专利权)人: | 苏州闻道网络科技股份有限公司 |
主分类号: | G06F16/955 | 分类号: | G06F16/955;G06F16/953;G06F11/14 |
代理公司: | 南京苏科专利代理有限责任公司 32102 | 代理人: | 姚姣阳 |
地址: | 215028 江苏省苏州市工业*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 搜索引擎 链接 分析 系统 方法 | ||
1.一种搜索引擎链接分析系统,包括:
互联网云平台单元,用于与万维网建立数据连接,获取万维网中的数据信息;
信息抓取单元,用于依据用户的操作请求在万维网中获取数据信息,并对数据信息进行转载下发;
信息存储单元,用于接收信息抓取单元已抓取到的数据信息,并对数据信息进行存储备份;
信息运算处理单元,用于接收用户的操作请求,并依据操作请求在信息存储单元内获取数据信息,并进行运算处理;
客户端反馈单元,用于键入用户的操作请求,并将信息运算处理单元的处理结果反馈给用户;
所述信息抓取单元包括,
爬虫服务器,用于在万维网中抓取数据信息;
网站服务器,用于接收用户的操作请求,依据操作控制爬虫服务器完成数据信息抓取,并将抓取到的数据信息转载下发;
所述信息运算处理单元包括,
网段查询模块,用于查询网站IP所属的网段;
域名查询模块,用于查询域名IP以及域名所有者信息;
阈值设定模块,用于设置反链数上升速度阈值、外链增长速度阈值,相同链接数量阈值以及相互链接数量阈值,作为判断处理依据;
反链数上升速度判断模块,用于检测网站反链数的上升速度并进行比对,当检测网站反链数上升速度超过反链数上升速度阈值时,对网站进行降权处理或重点监测处理;
外链增长速度判断模块,用于检测网站外链的增长速度并进行比对,当检测网站外链增长速度超过外链增长速度阈值时,对网站的外链进行降权操作;
初次内容比对模块,用于对比锚文件与链接页面内容,当锚文件与链接页面内容无关时,对外链进行降权操作;
二次内容比对模块,用于对比网站反链页面和链接页面内容,当网站反链页面和链接页面内容无关时,对外链进行降权操作;
网站外链分析模块,用于检测比对网站外链内容,获取网站内存在的链接相同的反链数量,当链接相同的反链数量大于相同链接数量阈值时,对网站或外链进行降权操作;
网站内链分析模块,用于检测比对网站url链接内容,获取url链接相似网站间相互链接的数量,当相互链接的数量大于相互链接数量阈值时,对网站或外链进行降权操作;
所述锚文件为链接所在的上下文信息;
所述客户端反馈单元包括App客户端或Web客户端。
2.一种搜索引擎链接分析方法,包括:
S1、互联网云平台步骤,与万维网建立数据连接,获取万维网中的数据信息;
S2、信息抓取步骤,依据用户的操作请求在万维网中获取数据信息,并对数据信息进行转载下发;
S3、信息存储步骤,接收信息抓取单元已抓取到的数据信息,并对数据信息进行存储备份;
S4、信息运算处理步骤,接收用户的操作请求,并依据操作请求在信息存储单元内获取数据信息,并进行运算处理;
S5、客户端反馈步骤,键入用户的操作请求,并将信息运算处理单元的处理结果反馈给用户;
所述信息抓取步骤包括,
S21、爬虫服务器设置子步骤,设置爬虫服务器,在万维网中抓取数据信息;
S22、网站服务器设置子步骤,设置网站服务器,接收用户的操作请求,依据操作控制爬虫服务器完成数据信息抓取,并将抓取到的数据信息转载下发;
所述信息运算处理步骤包括,
S41、网段查询子步骤,查询网站IP所属的网段;
S42、域名查询子步骤,查询域名IP以及域名所有者信息;
S43、阈值设定子步骤,设置反链数上升速度阈值、外链增长速度阈值,相同链接数量阈值以及相互链接数量阈值,作为判断处理依据;
S44、反链数上升速度判断子步骤,检测网站反链数的上升速度并进行比对,当检测网站反链数上升速度超过反链数上升速度阈值时,对网站进行降权处理或重点监测处理;
S45、外链增长速度判断子步骤,检测网站外链的增长速度并进行比对,当检测网站外链增长速度超过外链增长速度阈值时,对网站的外链进行降权操作;
S46、初次内容比对子步骤,对比锚文件与链接页面内容,当锚文件与链接页面内容无关时,对外链进行降权操作;
S47、二次内容比对子步骤,对比网站反链页面和链接页面内容,当网站反链页面和链接页面内容无关时,对外链进行降权操作;
S48、网站外链分析子步骤,检测比对网站外链内容,获取网站内存在的链接相同的反链数量,当链接相同的反链数量大于相同链接数量阈值时,对网站或外链进行降权操作;
S49、网站内链分析子步骤,检测比对网站url链接内容,获取url链接相似网站间相互链接的数量,当相互链接的数量大于相互链接数量阈值时,对网站或外链进行降权操作;
所述锚文件为链接所在的上下文信息;
所述客户端反馈步骤包括设置App客户端或Web客户端。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州闻道网络科技股份有限公司,未经苏州闻道网络科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810431864.7/1.html,转载请声明来源钻瓜专利网。