[发明专利]一种资讯抓取方法及装置

权利要求书

1.一种资讯抓取方法，其特征在于，

针对于目标网页上的待抓取对象设置资讯列表规则、资讯标题规则以及资讯内容规则；还包括：

利用预设的第一链接信息获取所述目标网页；

根据所述资讯列表规则，获取所述目标网页上的所述待抓取对象中包括的至少一条资讯所分别对应的第二链接信息；

针对于每一个所述第二链接信息，执行，

利用当前第二链接信息获取资讯网页；

根据所述资讯标题规则，从所述资讯网页中抓取资讯标题；

根据所述资讯内容规则，从所述资讯网页中抓取资讯内容。

2.根据权利要求1所述的方法，其特征在于，

所述资讯列表规则，包括：资讯列表Xpath、资讯列表CSS以及资讯列表正则表达式；

在所述针对于目标网页上的待抓取对象设置资讯列表规则、资讯标题规则以及资讯内容规则之后，且在所述获取所述目标网页上的所述待抓取对象中包括的至少一条资讯所分别对应的第二链接信息之前，进一步包括：

根据所述目标网页的网页结构，为所述资讯列表Xpath、所述资讯列表CSS以及所述资讯列表正则表达式分别设置相应的优先级；

所述根据所述资讯列表规则，获取所述目标网页上的所述待抓取对象中包括的至少一条资讯所分别对应的第二链接信息，包括：

A1：从所述资讯列表Xpath、所述资讯列表CSS、所述资讯列表正则表达式中选择一个未被选择过且优先级相对最高的资讯列表规则，并在各个所述资讯列表规则均被选择过时，结束当前流程；

A2：根据选择的所述资讯列表规则获取获取所述待抓取对象中包括的至少一条资讯所分别对应的所述第二链接信息，并在获取到时，执行所述利用当前第二链接信息获取资讯网页；否则，执行A1。

3.根据权利要求1所述的方法，其特征在于，

所述资讯标题规则，包括：资讯标题Xpath、资讯标题CSS以及资讯标题正则表达式；

在所述针对于目标网页上的待抓取对象设置资讯列表规则、资讯标题规则以及资讯内容规则之后，且在从所述资讯网页中抓取资讯标题之前，进一步包括：

为所述资讯标题Xpath、所述资讯标题CSS以及所述资讯标题正则表达式分别设置相应的优先级；

所述根据所述资讯标题规则，从所述资讯网页中抓取资讯标题，包括：

B1：从所述资讯标题Xpath、所述资讯标题CSS、所述资讯标题正则表达式中选择一个未被选择过且优先级相对最高的资讯标题规则，并在各个所述资讯标题规则均被选择过时，结束当前流程；

B2：根据选择的所述资讯标题规则抓取资讯标题，并在抓取到所述资讯标题时，执行所述根据所述资讯内容规则，从所述资讯网页中抓取资讯内容；否则，执行B1；

和/或，

所述资讯内容规则，包括：资讯内容Xpath、资讯内容CSS以及资讯内容正则表达式；

在所述针对于目标网页上的待抓取对象设置资讯列表规则、资讯标题规则以及资讯内容规则之后，且在从所述资讯网页中抓取资讯内容之前，进一步包括：

为所述资讯内容Xpath、所述资讯内容CSS以及所述资讯内容正则表达式分别设置相应的优先级；

所述根据所述资讯内容规则，从所述资讯网页中抓取资讯内容，包括：

C1：从所述资讯内容Xpath、所述资讯内容CSS、所述资讯内容正则表达式中选择一个未被选择过且优先级相对最高的资讯内容规则，并在各个所述资讯内容规则均被选择过时，结束当前流程；

C2：根据选择的所述资讯内容规则抓取资讯内容，并在未抓取到所述资讯内容时，执行C1。

4.根据权利要求1至3任一所述的方法，其特征在于，

所述资讯列表规则，包括：资讯列表Xpath、资讯列表CSS以及资讯列表正则表达式中的任意一种或多种；

和/或，

所述资讯标题规则，包括：资讯标题Xpath、资讯标题CSS以及资讯标题正则表达式中的任意一种或多种；

和/或，

所述资讯内容规则，包括：资讯内容Xpath、资讯内容CSS以及资讯内容正则表达式。