[发明专利]通过浏览简档优化抓取请求

权利要求书

1.一种用于优化抓取请求的创建浏览简档的方法，包括：

-在浏览简档数据库(DB)内批量或单独创建空白浏览简档；以及

-根据参数兼容性规则集使用静态参数及其值填充浏览简档，以及

-根据参数兼容性规则集使用动态参数填充浏览简档；

-使用从定期抓取会话期间收集的响应数据导出的丰富数据更新浏览简档的动态参数及其值，以及，

-使用从合成抓取会话的响应数据导出的丰富数据更新浏览简档的动态参数及其值。

2.一种使用浏览简档参数优化抓取请求的方法，包括：

-由服务提供商基础设施接受来自用户设备的原始请求；

-由来自请求丰富单元的抓取代理请求与抓取请求的参数对齐的浏览简档；

-由请求丰富单元为来自浏览简档DB的原始请求选择浏览简档；

-由请求丰富单元向抓取代理提供所选择的浏览简档；

-将原始请求与所选择的浏览简档组合以形成组合请求；以及，

-将组合请求发送到目标。

3.如权利要求2所述的方法，其中静态和动态参数从所选择的浏览简档被添加到原始请求。

4.如权利要求2所述的方法，其中浏览简档用于对目标的单个用户请求。

5.如权利要求2所述的方法，其中浏览简档用于在相同或独立的抓取会话内对目标的多个请求。

6.如权利要求2所述的方法，其中浏览简档在用于对目标的一个或多个请求时被锁定，以避免另一个请求获得和使用该浏览简档。

7.如权利要求2所述的方法，其中请求由抓取代理内的抓取应用执行。

8.如权利要求2所述的方法，其中用于浏览简档的动态参数及其值的丰富数据是从通过以下方式收集的响应数据导出的：

-从目标接收对请求的响应；

-由抓取代理剖析响应以识别和提取与更新浏览简档相关的数据；

-将数据传送到请求丰富单元以更新浏览简档数据库内简档的动态参数。

9.如权利要求2所述的方法，其中如果目标返回错误响应，那么通过由抓取代理检查错误响应来收集用于更新浏览简档的数据。

10.如权利要求2所述的方法，其中如果从目标接收到错误响应，那么抓取代理请求替代浏览简档，请求丰富单元选择适当的简档记录，并将简档记录传递给抓取代理，其中使用替代浏览简档丰富抓取请求并将其提交给目标。

11.如权利要求2所述的方法，其中通过代理将组合请求发送到目标。

12.如权利要求2所述的方法，其中用于更新浏览简档的动态参数及其值的合成数据是从通过以下方式收集的响应数据导出的：

-在请求丰富单元内生成合成抓取请求；

-由请求丰富单元将合成抓取请求提交给合成代理；

-由合成代理执行具有合成抓取请求的抓取会话；

-在抓取会话响应内收集与更新浏览简档相关的数据；

-使用收集的数据更新用于对应会话的浏览简档的动态参数。

13.如权利要求2所述的方法，其中在接受原始请求之前，所述方法还包括：

-在浏览简档DB内批量或单独创建空白浏览简档；

-根据参数兼容性规则集使用静态参数和值填充空白浏览简档，以及

-根据参数兼容性规则集使用动态参数填充空白浏览简档；

-使用从定期抓取会话期间收集的响应数据导出的丰富数据更新浏览简档的动态参数及其值；

-使用从合成抓取会话的响应数据中导出的丰富数据更新浏览简档的动态参数及其值。