[发明专利]一种分页数据采集方法及系统

权利要求书

1.一种分页数据采集方法，其特征在于，包括：

分别获取网页页面的动态网页源代码和静态网页源代码；

比较上述动态网页源代码和静态网页源代码的相似性，判断页面的动静态；

基于判定得到的页面动静态，分别基于相对应的下一页识别规则，得到全部分页地址；

将全部的分页地址更新到列表页队列中，用以进行数据采集。

2.如权利要求1所述的一种分页数据采集方法，其特征在于，

通过模拟浏览器访问网页URL，得到网页页面的动态网页源代码；

通过请求页面URL，并解析返回的对象，得到网页页面的静态网页源代码。

3.如权利要求1所述的一种分页数据采集方法，其特征在于，比较上述动态网页源代码和静态网页源代码的相似性，具体包括：

删除所述动态网页源代码和静态网页源代码中的停用词及空格符；

将动态源代码分割为词集合，放入Set1中进行去重，得到词集合seta；将静态源代码分割为词集合，放入Set2中进行去重，得到词集合setb；

将词集合seta和词集合setb放到set3中进行去重，得到词集合setc；

所述动态源代码和静态源代码中相同词的数量为词集合seta与setb的长度之和减去词集合setc的长度，两种源代码的相似性值为所述相同词的数量与词集合setc长度的比值。

4.如权利要求1所述的一种分页数据采集方法，其特征在于，判断页面的动静态的过程具体包括：

如果相似性满足t＞a，则认为本网页为静态页面；

如果相似性满足b＜t＜a，则认为本网页为动态页面；

如果相似性满足t＜b，则判断动态网页源代码和静态网页源代码的字符长度，若仅动态网页源代码的长度小于L，则判定本网页为静态网页；若仅静态网页源代码的长度小于L，则判定本网页为动态网页；若两者的长度均小于L，则将此页面判定为异常页面。

5.如权利要求1所述的一种分页数据采集方法，其特征在于，如果判定为静态页面，则下一页的识别规则具体包括：

若a标签的文本是下一页或与其相关的文本或字符，则解析相应标签的href属性，得到下一页的URL；

若a标签的title属性中包含下一页或与其相关的文本，则解析相应标签的href属性，得到下一页的URL；

如果是数字翻页，则解析页面中每个a标签的URL字符串，和当前页面的URL对比，满足设定比例的字符串一样，则认为是分页URL；识别出尾页得到总页数，通过提取出URL中相同的部分，根据总页数循环拼接上页码得到全部的分页URL。

6.如权利要求5所述的一种分页数据采集方法，其特征在于，如果得到的某页面URL中包含设定的脚本字符，则将该页面定义为动态页面，按照动态页面的识别规则重新进行识别。

7.如权利要求1所述的一种分页数据采集方法，其特征在于，如果判定为动态页面，则下一页的识别规则具体包括：

若按钮标签或a标签的文本是下一页或与其相关的文本或字符，模拟点击相应的文本或字符得到下一页的URL；

若按钮标签或a标签的title属性中包含下一页或与其相关的文本，模拟点击相应的文本或字符得到下一页的URL；

如果是数字翻页，则解析页面中每个a标签的URL字符串，和当前页面的URL对比，满足设定比例的字符串一样，则认为是分页URL；识别出尾页得到总页数，通过提取出URL中相同的部分，根据总页数循环拼接上页码得到全部的分页URL。

8.一种分页数据采集系统，其特征在于，包括：

页面动静态判断模块，用于分别获取网页页面的动态网页源代码和静态网页源代码；比较上述动态网页源代码和静态网页源代码的相似性，判断页面的动静态；

分页地址识别模块，用于基于判定得到的页面动静态，分别基于相对应的下一页识别规则，得到全部分页地址；

数据采集模块，用于将全部的分页地址更新到列表页队列中，用以进行数据采集。