[发明专利]一种主题网络爬虫方法、装置及介质有效
| 申请号： | 201910334543.X | 申请日： | 2019-04-24 |
| 公开（公告）号： | CN110069690B | 公开（公告）日： | 2021-12-07 |
| 发明（设计）人： | 杨承鑫 | 申请（专利权）人： | 成都映潮科技股份有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06N3/08;G06N3/12 |
| 代理公司： | 成都创新引擎知识产权代理有限公司 51249 | 代理人： | 向群 |
| 地址： | 610041 四川省成都市高新*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种主题网络爬虫方法、装置及介质，所述方法包括：采集给定网站中的产品信息，对所述产品信息按照主题进行分类标注，得到训练样本；利用训练样本对遗传算法+BP神经网络模型进行训练，得到训练好的模型；输入要采集的目标网站url、采集的主题、采集阈值，对目标网站进行数据采集，采用超链接广度优先遍历策略，获取与主题同级的页面；对获取到的页面进行数据清洗，将清洗完成后的数据输入训练好的模型中，得到优解，并对优解对应的页面进行采集、存储，并输出关键字段。本发明采用遗传算法+BP神经网络模型以达到减少前期盲目搜索，防止收敛到局部最优的目的，解决了传统主题爬虫中出现的精度低，覆盖面低，数据不完整，主题关联度不强的问题。 | ||
| 搜索关键词： | 一种 主题 网络 爬虫 方法 装置 介质 | ||
【主权项】：
1.一种主题网络爬虫方法，其特征在于，所述方法包括：采集给定网站中的产品信息，对所述产品信息按照主题进行分类标注，得到训练样本；利用训练样本对遗传算法+BP神经网络模型进行训练，得到训练好的模型；输入要采集的目标网站url、采集的主题、采集阈值，对目标网站进行数据采集，采用超链接广度优先遍历策略，获取与主题同级的页面；对获取到的页面进行数据清洗，将清洗完成后的数据输入训练好的模型中，得到优解，并对优解对应的页面进行采集、存储，并输出关键字段。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都映潮科技股份有限公司，未经成都映潮科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910334543.X/，转载请声明来源钻瓜专利网。
