[发明专利]发送网页访问请求的方法和装置

说明书

技术领域

本发明涉及互联网领域，具体而言，涉及一种发送网页访问请求的方法和装置。

背景技术

随着互联网的发展，上网人数不断地增加，网站的访问量不断地上升。随之而来的是用户对网页质量的要求也在不断地增加，这进一步推动网页质量评估的发展。为了更好地评估网页质量，要求对网站的网页进行抓取再进行质量的分析。但是当过于频繁地向同一个网站发送请求时，会被认为是对网站的不友好访问，从而导致被网站屏蔽当前访问的IP，最终无法拿到相关的网页数据。

现有的技术虽然可以通过多台机器，实现分布式来抓取网页的数据。这样可以从一定程度上减少同一个IP向网站发出的请求个数，并提高抓取网页的速度。但是采用这种方法也并未从根本上解决同一个IP向网站发出的请求的频繁问题，当某台机器发出的网页请求过于频繁时，同样会出现该机器的IP被屏蔽的情况。

针对现有技术中对网页质量进行测试时频繁发出测试请求的机器被屏蔽，导致无法测试的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中对网页质量进行测试时发出测试请求的机器被屏蔽，导致无法测试的问题，目前尚未提出有效的解决方案，为此，本发明的主要目的在于提供一种发送网页访问请求的方法和装置，以解决上述问题。

为了实现上述目的，根据本发明的一个方面，提供了一种发送网页访问请求的方法，该方法包括：接收测试网站的测试请求，其中，所述测试请求中携带有测试次数，循环执行下述步骤，直至生成的访问请求的个数等于所述测试次数；生成访问第一网页的第一访问请求；在间隔预设时间之后，生成访问第二网页的第二访问请求；其中，所述访问请求包括所述第一访问请求和所述第二访问请求，在循环执行上述步骤时，各个循环中的所述预设时间的值不完全相同，所述第一网页和所述第二网页属于所述网站。

进一步地，在生成访问第一网页的第一访问请求之后，所述方法还包括：使用函数生成器生成的所述预设时间；或按照循环次数从数据表中读取所述预设时间，所述数据表中保存多个所述预设时间与所述循环次数的对应关系，所述多个所述预设时间的值各不同。

进一步地，使用函数生成器生成的所述预设时间包括：按照如下公式计算所述预设时间R，其中，所述公式为：R＝(1+s)*b，所述b为预设的时间段，s∈[0,1]，所述s为所述函数生成器生成的小数。

进一步地，所述访问请求为下载所述网站上的网页的请求。

进一步地，在生成所述第一访问请求或所述第二访问请求之后，将所述第一访问请求或所述第二访问请求发送至所述网站的网站服务器。

为了实现上述目的，根据本发明的另一方面，提供了一种发送网页访问请求的装置，该装置包括：处理模块，用于接收测试网站的测试请求，其中，所述测试请求中携带有测试次数，循环执行下述步骤，直至生成的访问请求的个数等于所述测试次数；第一生成模块，用于生成访问第一网页的第一访问请求；第二生成模块，用于在间隔预设时间之后，生成访问第二网页的第二访问请求；其中，所述访问请求包括所述第一访问请求和所述第二访问请求，在循环执行上述步骤时，各个循环中的所述预设时间的值不完全相同，所述第一网页和所述第二网页属于所述网站。

进一步地，所述装置还包括：第三生成模块，用于在生成访问第一网页的第一访问请求之后，使用函数生成器生成的所述预设时间；或第四生成模块，用于在生成访问第一网页的第一访问请求之后，按照循环次数从数据表中读取所述预设时间，所述数据表中保存多个所述预设时间与所述循环次数的对应关系，所述多个所述预设时间的值各不同。

进一步地，所述第三生成模块包括：生成子模块，用于按照如下公式计算所述预设时间R，其中，所述公式为：R＝(1+s)*b，所述b为预设的时间段，s∈[0,1]，所述s为所述函数生成器生成的小数。

进一步地，所述访问请求为下载所述网站上的网页的请求。

进一步地，所述装置还包括发送模块，用于在生成所述第一访问请求或所述第二访问请求之后，将所述第一访问请求或所述第二访问请求发送至所述网站的网站服务器。