[发明专利]一种基于令牌环的舆情监控目标保护方法在审
| 申请号： | 201910917251.9 | 申请日： | 2019-09-26 |
| 公开（公告）号： | CN110673968A | 公开（公告）日： | 2020-01-10 |
| 发明（设计）人： | 赵龙;张子龙;李森;李飞 | 申请（专利权）人： | 科大国创软件股份有限公司 |
| 主分类号： | G06F9/54 | 分类号： | G06F9/54;G06F16/951;G06F16/9536;G06F16/955 |
| 代理公司： | 31253 上海精晟知识产权代理有限公司 | 代理人： | 孙永智 |
| 地址： | 230000 安徽省合*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于令牌环的舆情监控目标保护方法，涉及舆情数据采集技术领域。本发明包括如下步骤：步骤S01：第一层网络爬虫从门户网站的入口进行采集，并获取下一层的url；步骤S02：爬虫根据规则对url进行过滤，将符合条件的url进行hash处理，得到对应的整数值；步骤S03：根据计算结果，并与令牌环上格子的总量取余，得到存储位置的索引，并将结果存储到对应的格子中；步骤S04：网络爬虫获取下层数据进行处理。本发明通过hash算法和取余计算将待采集的url分散到不同的令牌环格子里，根据计算结果以令牌环上格子的总量取余后得到索引值，并将索引值存储在令牌环格子的任务队列中，缓解高并发下对链接的集中访问,提高了网站访问效率和安全等级。 | ||
| 搜索关键词： | 令牌环 格子 取余 索引 网络爬虫 数据采集技术 采集 爬虫 存储位置 符合条件 集中访问 监控目标 结果存储 门户网站 任务队列 网站访问 第一层 链接 下层 并发 过滤 存储 缓解 安全 | ||
【主权项】：
1.一种基于令牌环的舆情监控目标保护方法，其特征在于，包括如下步骤：/n步骤S01：第一层网络爬虫从门户网站的入口进行采集，并获取下一层的url；/n步骤S02：爬虫根据规则对url进行过滤，将符合条件的url进行hash处理，得到对应的整数值；/n步骤S03：根据计算结果，并与令牌环上格子的总量取余，得到存储位置的索引，并将结果存储到对应的格子中；/n步骤S04：网络爬虫获取下层数据进行处理。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于科大国创软件股份有限公司，未经科大国创软件股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910917251.9/，转载请声明来源钻瓜专利网。
