[发明专利]一种互联网资源定向获取方法及系统

权利要求书

1、一种互联网资源定向获取方法，其特征在于，该方法包括以下步骤：

事先确定抓取网站范围、要获取的资源信息及所属的资源类别；

根据所述资源类别，通过人机交互在每个抓取网站上获取与所述资源类别相对应的有效网页；

依据所述抓取网站及其链接的有效网页的URL、网页结构及要获取的资源信息，生成要获取的资源信息的配置信息；

在抓取网站上抓取与所述配置信息相匹配的信息并保存；

通过人机交互对抓取的信息进行深度标引，将其整理为统一的格式，并对其分类作出调整，删除与要获取的资源信息无关的垃圾信息；

对深度标引后的信息建立索引供用户检索使用。

2、如权利要求1所述的互联网资源定向获取方法，其特征在于，在对深度标引后的信息建立索引供用户检索使用之后，还包括步骤：对深度标引后的信息所对应的网页进行原生态存档，用于检索时所述信息无法打开时，调用与其对应的原生态存档的网页供用户使用。

3、如权利要求1所述的互联网资源定向获取方法，其特征在于，在抓取过程中，还包括记录上次完成抓取信息对应的网页位置，下次再抓取时从上次完成抓取信息对应的网页位置开始抓取。

4、如权利要求1所述的互联网资源定向获取方法，其特征在于，在抓取过程中，还包括将要抓取的信息与已抓取的信息进行比较的步骤，若相同，则不予抓取该信息。

5、如权利要求1所述的互联网资源定向获取方法，其特征在于，在抓取网站上抓取与配置信息相匹配的信息为去除了源代码、广告信息的纯文本内容，包括文章的标题、作者、单位、关键词、摘要、正文、URL、抓取时间、类别。

6、一种互联网资源定向获取系统，其特征在于，该系统包括：

初始信息获取单元，用于事先确定抓取网站范围、要获取的资源信息及所属的资源类别；

有效网页获取单元，根据所述资源类别，通过人机交互在每个抓取网站上获取与所述资源类别相对应的有效网页；

配置信息生成单元，依据所述网站及其链接的有效网页的URL、网页结构及要获取的资源信息，生成要获取的资源信息的配置信息；

定向获取单元，用于在抓取网站上抓取与所述配置信息相匹配的信息并保存；

深度标引单元，通过人机交互对抓取的信息进行深度标引，将其整理为统一的格式，并对其分类作出调整，删除与要获取的资源信息无关的垃圾信息；

检索单元，用于对深度标引后的信息建立索引供用户检索使用。

7、如权利要求6所述的互联网资源定向获取系统，其特征在于，该系统还包括原生态存档单元，用于对深度标引后的信息所对应的网页进行原生态存档，用于检索时所述信息无法打开时，调用与其对应的原生态存档的网页供用户使用。

8、如权利要求6所述的互联网资源定向获取系统，其特征在于，该系统还包括下载位置记录单元，用于在定向获取单元抓取过程中，记录上次完成抓取的信息对应的网页位置，为下次抓取提供起点。

9、如权利要求6所述的互联网资源定向获取系统，其特征在于，该系统还包括比较单元，用于在定向获取单元抓取过程中，将要抓取的信息与已抓取的信息进行比较，若相同，则不予抓取该信息。