[发明专利]网页数据爬取的方法和装置

权利要求书

1.一种网页数据爬取的方法，其特征在于，包括：

解析接收到的网页数据爬取请求，得到请求资源类型；

判断所述请求资源类型是否与预设缓存的请求资源类型相同；

在判断结果不同的情况下，将所述网页数据爬取请求发送至远程网站；

在判断结果相同的情况下，判断预存数据中是否存在与所述网页数据爬取请求对应的数据，并依据判断结果执行对应操作；

所述判断预存数据中是否存在与所述网页数据爬取请求对应的数据，并依据判断结果执行对应操作包括：

依据所述网页数据爬取请求在所述预存数据中进行查询，判断所述预存数据中是否存在与所述网页数据爬取请求对应的数据；

在判断结果为所述预存数据中存在与所述网页数据爬取请求对应的数据的情况下，向所述网页数据爬取请求的请求端返回所述网页数据爬取请求对应的数据；

在判断结果为所述预存数据中不存在与所述网页数据爬取请求对应的数据的情况下，向所述远程网站转发所述网页数据爬取请求，并将返回的所述网页数据爬取请求对应的数据发送至请求端。

2.根据权利要求1所述的方法，其特征在于，在所述解析接收到的网页数据爬取请求之前，所述方法还包括：

依据网页的源文件类型配置所述预设缓存的请求资源类型；其中，所述源文件类型包括：Javascript文件或图片；

将所述Javascript文件和/或所述图片确定为所述预设缓存的请求资源类型。

3.根据权利要求1或2所述的方法，其特征在于，所述判断所述请求资源类型是否与预设缓存的请求资源类型相同包括：

解析所述网页数据爬取请求，得到所述网页数据爬取请求的请求资源类型；

依据所述请求资源类型在所述预设缓存的请求资源类型中进行查询，判断所述请求资源类型是否与所述预设缓存的请求资源类型相同。

4.根据权利要求1所述的方法，其特征在于，所述将返回的所述网页数据爬取请求对应的数据发送至请求端包括：

获取所述远程网站返回的所述网页数据爬取请求对应的数据；

缓存所述数据；

将所述数据返回所述请求端。

5.一种网页数据爬取的装置，其特征在于，包括：

解析模块，用于解析接收到的网页数据爬取请求，得到请求资源类型；

第一判断模块，用于判断所述请求资源类型是否与预设缓存的请求资源类型相同；

发送模块，用于在判断结果不同的情况下，将所述网页数据爬取请求发送至远程网站；

第二判断模块，用于在判断结果相同的情况下，判断预存数据中是否存在与所述网页数据爬取请求对应的数据，并依据判断结果执行对应操作；

所述第二判断模块包括：

查询单元，用于依据所述网页数据爬取请求在所述预存数据中进行查询，判断所述预存数据中是否存在与所述网页数据爬取请求对应的数据；

第一发送单元，用于在判断结果为所述预存数据中存在与所述网页数据爬取请求对应的数据的情况下，向所述网页数据爬取请求的请求端返回所述网页数据爬取请求对应的数据；

第二发送单元，用于在判断结果为所述预存数据中不存在与所述网页数据爬取请求对应的数据的情况下，向所述远程网站转发所述网页数据爬取请求，并将返回的所述网页数据爬取请求对应的数据发送至请求端。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第一配置模块，用于在所述解析接收到的网页数据爬取请求之前，依据网页的源文件类型配置所述预设缓存的请求资源类型；其中，所述源文件类型包括：Javascript文件或图片；

第二配置模块，用于将所述Javascript文件和/或所述图片确定为所述预设缓存的请求资源类型。

7.根据权利要求5或6所述的装置，其特征在于，所述第一判断模块包括：

解析单元，用于解析所述网页数据爬取请求，得到所述网页数据爬取请求的请求资源类型；

判断单元，用于依据所述请求资源类型在所述预设缓存的请求资源类型中进行查询，判断所述请求资源类型是否与上述预设缓存的请求资源类型相同。