[发明专利]一种面向异构网页的数据收集与标注方法

摘要

本发明公开了一种面向异构网页的数据收集与标注方法，该方法采用XPath与正则表达式的对收集到的数据进行解析，通过查询是否存在对应的DOM节点从而判断对应的网页页面结构，并给下面的标注工作提供了一个先验知识，在标注过程中仅需对预标注的数据进行标注修正，即可完成标注。本发明能够有效地整合数据的收集与数据的分类操作，使得数据挖掘的进展能够高效地进行。相比传统的数据收集方法，本发明收集质量更高，垃圾数据收集率低，数据分类准确。

主权项

一种面向异构网页的数据收集与标注方法，其特征在于，该方法包括以下具体步骤：步骤1：从初始的URL中获取网页；步骤2：向所获取的网页的服务器发送HTTP请求，并将请求的内容返回到客户端；步骤3：客户端接到请求后，使用解析器对HTML页面进行解析；步骤4：使用正则表达式匹配所需的信息，并获取其中的超链接，筛选出数据库中重复的超链接后，将该超链接加入到爬虫队列中；步骤5：重复上述步骤2‑4，依次完成并添加结构化的数据到数据库中；步骤6：对数据库中获取到的数据进行数据清洗工作；步骤7：标注人使用标注系统，从数据库中分配相应的标注任务开始标注；步骤8：标注人完成一个标注任务后，重复请求服务器进行分配任务；步骤9：重复标注步骤7、步骤8直至数据已标注完毕。