[发明专利]产品属性数据的获取方法和系统

权利要求书

1.一种产品属性数据的获取方法，包括如下步骤：

接收产品属性数据请求；

对所述产品属性数据请求分配代理IP；

通过所述代理IP从预设网站下载与所述产品对应的网站数据；

解析所述网站数据，得到所述产品的属性数据。

2.根据权利要求1所述的产品属性数据的获取方法，其特征在于，所述对所述产品属性数据请求分配代理IP的步骤之前还包括根据所述产品属性数据请求的任务量调整分配代理IP的线程数量，在所述任务量增加时，增加分配代理IP的线程数量，否则减少分配代理IP的线程数量的步骤。

3.根据权利要求1所述的产品属性数据的获取方法，其特征在于，所述对所述产品属性数据请求分配代理IP的步骤之前还包括检测所述代理IP的有效性，删除无效的代理IP并相应补充有效的代理IP的步骤。

4.根据权利要求1所述的产品属性数据的获取方法，其特征在于，所述对所述产品属性数据请求分配代理IP的步骤之前还包括：

爬取代理网站的代理IP；

测试所述爬取的代理IP的类型以及速度；

筛选并保存高于预设速度的匿名类型的所述爬取的代理IP得到用于分配的代理IP。

5.根据权利要求1所述的产品属性数据的获取方法，其特征在于，所述解析所述网站数据，得到所述产品的属性数据的步骤包括：

分析所述下载的网站数据的内容结构；

根据所述网站数据的内容结构提取所述产品属性数据所在的网页数据块；

在所述网页数据块中查找所述产品属性数据所在的字段并读取对应的产品属性数值。

6.一种产品属性数据的获取系统，包括：

接收模块，用于接收产品属性数据请求；

分配模块，用于对所述产品属性数据请求分配代理IP；

下载模块，用于通过所述代理IP从预设网站下载与所述产品对应的网站数据；

解析模块，用于解析所述网站数据，得到所述产品的属性数据。

7.根据权利要求6所述的产品属性数据的获取系统，其特征在于，所述系统还包括调整模块，用于根据所述产品属性数据请求的任务量调整分配代理IP的线程数量，在所述任务量增加时，增加分配代理IP的线程数量，否则减少分配代理IP的线程数量。

8.根据权利要求6所述的产品属性数据的获取系统，其特征在于，所述系统还包括检测模块，用于检测所述代理IP的有效性，删除无效的代理IP并相应补充有效的代理IP。

9.根据权利要求6所述的产品属性数据的获取系统，其特征在于，所述系统还包括：

爬取模块，用于爬取代理网站的代理IP；

测试模块，用于测试所述爬取的代理IP的类型以及速度；

存储模块，用于筛选并保存高于预设速度的匿名类型的所述爬取的代理IP得到用于分配的代理IP。

10.根据权利要求6所述的产品属性数据的获取系统，其特征在于，所述解析模块包括：

分析单元，用于分析所述下载的网站数据的内容结构；

提取单元，用于根据所述网站数据的内容结构提取所述产品属性数据所在的网页数据块；

查找单元，用于在所述网页数据块中查找所述产品属性数据所在的字段并读取对应的产品属性数值。