[发明专利]网页数据采集方法、装置、设备及存储介质在审
| 申请号： | 201910627107.1 | 申请日： | 2019-07-11 |
| 公开（公告）号： | CN110442766A | 公开（公告）日： | 2019-11-12 |
| 发明（设计）人： | 董晨辉;任延辉;谷广鹏 | 申请（专利权）人： | 新华三大数据技术有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F9/50;H04L29/08 |
| 代理公司： | 北京超成律师事务所 11646 | 代理人： | 吴迪 |
| 地址： | 450000 河南省郑州市高新技*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供一种网页数据采集方法、装置、设备及存储介质，涉及数据处理技术领域。该方法根据数据采集需求的信息以及预设的脚本模板，创建数据采集需求对应的任务，使得对于不同的数据采集需求以及对应的预设的脚本模板，可以创建相应的任务；进而通过获取任务所需的运行资源和多个采集节点的运行资源状态，从多个采集节点中确定与任务相匹配的采集节点作为目标节点，并将任务下发给目标节点，以使得目标节点根据任务进行数据采集，从而将任务所需的运行资源与采集节点的运行资源状态关联起来，可以为任务选择精确的采集节点，提高了采集节点执行任务的运行效率，即数据采集效率。 | ||
| 搜索关键词： | 采集节点 运行资源 数据采集需求 目标节点 网页数据采集 存储介质 脚本模板 预设 数据采集效率 数据处理技术 任务选择 数据采集 运行效率 状态关联 创建 匹配 | ||
【主权项】：
1.一种网页数据采集方法，其特征在于，所述方法包括：根据数据采集需求的信息以及预设的脚本模板，创建所述数据采集需求对应的任务；获取所述任务所需的运行资源和多个采集节点的运行资源状态；根据所述任务所需的运行资源和多个所述采集节点的运行资源状态，从多个所述采集节点中确定目标节点；将所述任务下发给所述目标节点，以使得所述目标节点根据所述任务进行网页数据的采集。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司，未经新华三大数据技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910627107.1/，转载请声明来源钻瓜专利网。
