[发明专利]信息采集方法及系统

摘要

本发明涉及一种信息采集方法，包括：根据预设的采集任务模板从互联网上获取符合采集要求的一个或多个网页链接地址；对一个或多个网页链接地址执行去重操作，并将去重结果存入地址列表数据文件；修补地址列表数据文件所对应的内容信息的HTML标签，并对修补后的网页内容进行文本信息提取；对提取的文本信息进行自动分类，然后对分类后的文本信息进行分词处理，并提取文本信息的摘要；将文本信息的分类结果、分词操作得到的词条以及摘要输出。本发明还涉及一种信息采集系统。本发明在信息采集过程中通过对网页中的内容信息进行HTML标签的修补，实现对各种网页格式的内容的采集；通过对网页链接地址进行哈希转换，增加网页链接地址去重的效率。

主权项

1、一种信息采集方法，包括以下步骤：根据预设的采集任务模板从互联网上获取符合采集要求的一个或多个网页链接地址；对所述一个或多个网页链接地址执行去重操作，并将去重后得到的结果存入地址列表数据文件；修补所述地址列表数据文件所对应的内容信息的超文本标记语言标签，并对修补后的网页内容进行文本信息提取；对提取的文本信息进行自动分类，然后对分类后的文本信息进行分词处理，并提取所述文本信息的摘要；将所述文本信息的分类结果、分词操作得到的词条以及摘要输出。