[发明专利]代理云环境中的用户抓取外部网页的方法和装置

权利要求书

1.一种代理云环境中的用户抓取外部网页的方法，其特征在于，包括以下步骤：

接收所述用户抓取网页的请求；

验证所述用户的身份；

统计所述用户的配额以确定所述用户是否在黑名单中；

解析所述请求以确定是否要求使用http或https协议抓取网页；以及

如果所述用户通过身份验证且不在所述黑名单中，则按照所述要求而代理用户使用http或https协议抓取网页。

2.根据权利要求1所述的方法，其特征在于，进一步包括步骤：

判断所述网页所在的地址是否属于禁止访问地址；以及

如果是，则向用户反馈所述地址不可访问的提示。

3.根据权利要求2所述的方法，其特征在于，所述网页所在的地址包括所述网页的域名或ip地址。

4.根据权利要求1所述的方法，其特征在于，进一步包括步骤：

判断所述请求是否是大数据包请求；以及

如果是，则过滤所述大数据包请求。

5.根据权利要求4所述的方法，其特征在于，所述大数据包请求是超过10M的请求。

6.根据权利要求1所述的方法，其特征在于，进一步包括步骤：

如果所述用户没有通过身份验证或者在所述黑名单中，则向所述用户返回身份错误或配额超限提示。

7.根据权利要求1所述的方法，其特征在于，进一步包括步骤：

在代理用户使用http或https协议抓取网页之后，记录抓取网页而发生的配额消耗用于统计所述用户的配额。

8.根据权利要求1至7中任一项所述的方法，其特征在于，使用http协议接收所述用户抓取网页的请求，其中http头中包括分别携带所述用户的公钥、密钥和用户要求使用http或https协议抓取网页的三个字段。

9.一种代理云环境中的用户抓取外部网页的装置，其特征在于，包括：

接收模块，所述接收模块用于接收所述用户抓取网页的请求；

验证模块，所述验证模块用于验证所述用户的身份；

统计模块，所述统计模块用于统计所述用户的配额以确定所述用户是否在黑名单中；

解析模块，所述解析模块用于解析所述请求以确定是否要求使用http或https协议抓取网页；以及

抓取模块，所述抓取模块用于在所述用户通过身份验证且不在所述黑名单中时，按照所述要求而代理用户使用http或https协议抓取网页。

10.根据权利要求9所述的装置，其特征在于，进一步包括：

第一判断模块，所述第一判断模块用于判断所述网页所在的地址是否属于禁止访问地址；以及

第一反馈模块，所述第一反馈模块用于在所述网页所在的地址属于禁止访问地址时，向用户反馈所述地址不可访问的提示。

11.根据权利要求10所述的装置，其特征在于，所述网页所在的地址包括所述网页的域名或ip地址。

12.根据权利要求9所述的装置，其特征在于，进一步包括：

第二判断模块，所述第二判断模块用于判断所述请求是否是大数据包请求；以及

过滤模块，所述过滤模块用于在所述请求是大数据包请求时，过滤所述大数据包请求。

13.根据权利要求12所述的装置，其特征在于，所述大数据包请求是超过10M的请求。

14.根据权利要求9所述的装置，其特征在于，进一步包括：

第二反馈模块，所述第二反馈模块用于在所述用户没有通过身份验证或者在所述黑名单中时，向所述用户返回身份错误或配额超限提示。

15.根据权利要求9所述的装置，其特征在于，进一步包括：

记录模块，所述记录模块在代理用户使用http或https协议抓取网页之后，记录抓取网页而发生的配额消耗并将所述配额消耗发送到所述统计模块。

16.根据权利要求9至15中任一项所述的方法，其特征在于，所述接收模块使用http协议接收所述用户抓取网页的请求，其中http头中包括分别携带所述用户的公钥、密钥和用户要求使用http或https协议抓取网页的三个字段。