[发明专利]收集网站信息中有效信息网页的方法、装置及系统

权利要求书

1.一种收集网站信息中有效信息网页的方法，其中，包括：

根据预先配置的列表页的网址链接模板识别被收集网站中的列表页，获取每个列表页包所含的全部内部网址链接；

根据预先配置的商品页的网址链接模板，在每个列表页包含的全部内部网址链接中进行匹配，获取其中商品页的网址链接，其中，所述预先配置的商品页的网址链接模板包含产品属性信息；

收集所获取的所有商品页的网址链接。

2.如权利要求1所述的收集网站信息中有效信息网页的方法，其中，所述预先配置的列表页的网址链接模板，包括：

抓取所述被收集网站中列表页的可访问的网址链接，将相似一组列表页的网址链接通过使用占位符的方式编辑成这一组列表页的网址链接模板。

3.如权利要求2所述的收集网站信息中有效信息网页的方法，其中，所述列表页的可访问的网址链接，包含有：列表页的起始页字段、步长字段、总页数字段和当前页数字段。

4.如权利要求3所述的收集网站信息中有效信息网页的方法，其中，进一步包括：

根据预先配置的列表页的网址链接模板，以一组列表页的起始页字段为当前页数，并不断根据步长字段的数值修正当前页数，识别出所述这一组列表页的可访问的网址链接，针对所述可访问的网址链接的每一个，获取其中所包含的全部内部网址链接。

5.如权利要求4所述的收集网站信息中有效信息网页的方法，其中，进一步还包括：

当监控到每组所述列表页的可访问的网址链接中的当前页数字段的值大于等于总页数字段的值时，跳转到下一组未识别的所述列表页的可访问的网址链接继续识别所述可访问的网址链接的每一个，获取其中所包含的全部内部网址链接，直到所述被收集网站中列表页的可访问的网址链接全部识别完为止。

6.如权利要求1所述的收集网站信息中有效信息网页的方法，其中，根据预先配置的商品页的网址链接模板，在每个列表页包含的全部内部网址链接中进行匹配，获取其中商品页的网址链接，还包括：

丢弃与所述商品页的网址链接模板不匹配的内部网址链接。

7.一种收集网站信息中有效信息网页的装置，其中，包括：配置识别单元和查找调度单元；其中，

所述配置识别单元，用于根据预先配置的列表页的网址链接模板识别被收集网站中的列表页，获取每个列表页包所含的全部内部网址链接，输出给所述查找调度单元；

所述查找调度单元，用于根据预先配置的商品页的网址链接模板，在每个列表页包含的全部内部网址链接中进行匹配，获取其中商品页的网址链接，收集所获取的所有商品页的网址链接，其中，所述预先配置的商品页的网址链接模板包含产品属性信息。

8.如权利要求7所述的收集网站信息中有效信息网页的装置，其中，

所述配置识别单元，还用于抓取所述被收集网站中列表页的可访问的网址链接，将相似一组列表页的网址链接通过使用占位符的方式编辑成这一组列表页的网址链接模板。

9.如权利要求8所述的收集网站信息中有效信息网页的装置，其中，

所述配置识别单元中所预先配置的列表页的网址链接模板包含有：所述列表页的起始页字段、步长字段、总页数字段和当前页数字段。

10.如权利要求9所述的收集网站信息中有效信息网页的装置，其中，

所述配置识别单元，进一步用于根据预先配置的列表页的网址链接模板，以一组列表页的起始页字段为当前页数，并不断根据步长字段的数值修正当前页数，识别出所述这一组列表页的可访问的网址链接，针对所述可访问的网址链接的每一个，获取其中所包含的全部内部网址链接。

11.如权利要求10所述的收集网站信息中有效信息网页的装置，其中，

所述配置识别单元，还用于当监控到每组所述列表页的可访问的网址链接中的当前页数字段的值大于等于总页数字段的值时，跳转到下一组未识别的所述列表页的可访问的网址链接继续识别所述可访问的网址链接的每一个，获取其中所包含的全部内部网址链接，直到所述被收集网站中列表页的可访问的网址链接全部识别完为止。

12.如权利要求7所述的收集网站信息中有效信息网页的装置，其中，

所述查找调度单元，还用于丢弃与所述商品页的网址链接模板不匹配的内部网址链接。