[发明专利]基于组合预测法的主题词搜索爬虫调度方法及其系统有效
申请号: | 202110701204.8 | 申请日: | 2021-06-23 |
公开(公告)号: | CN113536085B | 公开(公告)日: | 2023-05-19 |
发明(设计)人: | 陈智超;裴峥;孔明明 | 申请(专利权)人: | 西华大学 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/35;G06N3/044;G06N3/084 |
代理公司: | 成都弘毅天承知识产权代理有限公司 51230 | 代理人: | 孟仕杰 |
地址: | 610036 四川省*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及爬虫调度方法技术领域,具体是基于组合预测法的主题词搜索爬虫调度方法及其系统,包括第一获取模块、数据预处理模块、向量空间模型、分簇模块、主题词提取模块、第二获取模块、真实热度指标权重计算模块、真实热度值计算模块、更新模块、预测热度值模块和CPU分配模块;包括如下步骤:步骤1、在数据源获取数据;步骤2、数据预处理;步骤3、获取主题数据,计算真实热度指标与指标权重;步骤4、计算真实热度值;步骤5、计算下一期每个主题的预测热度值;步骤6、提取新主题词并更新数据库;步骤7、分配CPU占用率上限,获取更多高热度主题的相关数据。实现了在资源有限条件下,优先跟踪高热度主题的目的。 | ||
搜索关键词: | 基于 组合 预测 主题词 搜索 爬虫 调度 方法 及其 系统 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西华大学,未经西华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110701204.8/,转载请声明来源钻瓜专利网。