[发明专利]网页数据定向抓取方法

权利要求书

1.网页数据定向抓取方法，其特征在于，包括以下步骤：

1）根据待抓取的网页数据在网页文件中具有的数据结构特征以及网页文件的源代码语法规则，编译由正则表达式构建的数据匹配模型；

2）根据URL地址获取包含待抓取网页数据的网页文件，解析所述网页文件的源代码；

3）用所述数据匹配模型对所述网页文件的源代码进行数据匹配，依次获取相匹配的部分源代码；

4）从所述相匹配的部分源代码中屏蔽数据结构特征部分，提取出待抓取的网页数据；

5）对提取出的网页数据进行存储处理。

2.根据权利要求1所述的网页数据定向抓取方法，其特征在于，所述由正则表达式构建的数据匹配模型是由结构匹配字符和捕获组构成；所述结构匹配字符用于匹配待抓取的网页数据的数据结构特征；所述捕获组用于匹配待抓取的网页数据。

3.根据权利要求2所述的网页数据定向抓取方法，其特征在于，所述步骤3）中“从所述相匹配的部分源代码中屏蔽数据结构特征部分，提取出待抓取的网页数据”，是通过正则表达式语法规则中的捕获组对所述相匹配的部分源代码中待抓取的网页数据进行捕获并存储于缓存区中，从而屏蔽结构匹配字符匹配的数据结构特征部分；再从缓存区中提取待抓取的网页数据。

4.根据权利要求2所述的网页数据定向抓取方法，其特征在于，所述待抓取的网页数据有多组，每组待抓取的网页数据匹配于数据匹配模型中的一个捕获组，且不同的捕获组通过不同的编号或命名加以区分识别。

5.根据权利要求1所述的网页数据定向抓取方法，其特征在于，所述步骤4）中“对提取出的网页数据进行存储处理”，是计算提取出的网页数据的MD5值，并查找数据库中是否存在相同的MD5值；若是，则放弃存储操作；否则，将提取出的网页数据连同其MD5值一起存入数据库，并建立该网页数据与其MD5值的对应关系。

6.网页数据定向抓取方法，其特征在于，包括以下步骤：

A）将待抓取的网页数据在网页文件中具有的数据结构特征拆分为N级，划分N级定位域；每一级定位域包含至少一个待抓取的网页数据的数据结构特征，以及除数据结构特征部分的定位提取部分；其中，第N级定位域的定位提取部分即为待抓取的网页数据，N≥2；

B）根据网页文件的源代码语法规则，分别编译由正则表达式构建的每一级定位域的数据匹配模型；

C）通过多级定位的方式逐级提取待抓取的网页数据；该步骤具体为：

c1）第1级定位步骤包括：

11）根据URL地址获取包含待抓取网页数据的网页文件，解析所述网页文件的源代码；

12）用第1级定位域的数据匹配模型对所述网页文件的源代码进行数据匹配，依次获取相匹配的部分源代码；

13）从步骤12）所述相匹配的部分源代码中屏蔽数据结构特征部分，提取出第1级定位域的定位提取部分；

c2）第n级定位步骤，2≤n≤N，包括：

n1）获取第n-1级定位域的定位提取部分；

n2）用第n级定位域的数据匹配模型对第n-1级定位域的定位提取部分进行数据匹配，依次获取相匹配的部分源代码；

n3）从步骤n2）所述相匹配的部分源代码中屏蔽数据结构特征部分，提取出第n级定位域的定位提取部分；

其中，第N级定位步骤提取出的定位提取部分，即为待抓取的网页数据；

D）对第N级定位步骤提取出的网页数据进行存储处理。

7.根据权利要求6所述的网页数据定向抓取方法，其特征在于，所述由正则表达式构建的每一级定位域的数据匹配模型，均是由结构匹配字符和捕获组构成；所述结构匹配字符用于匹配定位域中的数据结构特征部分；所述捕获组用于定位域中的定位提取部分；不同级定位域的数据匹配模型中的捕获组，通过不同的编号或命名加以区分识别。