[发明专利]一种应用商城中应用信息的抓取方法及装置

权利要求书

1.一种应用商城中应用信息的抓取方法，其特征在于，所述方法包括：

接收预定义的与应用商城匹配的爬虫规则，其中，所述预定义的规则中至少包括：与应用商城的标识信息相对应的爬虫标识信息、应用商城的分类列表、应用商城分类列表页面连接模式、列表页抓取配置、详情页抓取配置、抓取脚本、HTTP请求头以及爬虫工具的cookie设置中的至少一种；

解析所述爬虫规则，并加载所述爬虫规则；

根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取。

2.根据权利要求1所述的一种应用商城中应用信息的抓取方法，其特征在于，所述根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取，包括：

获取应用商城的分类列表，并对所述应用商城的分类列表中的每一个分类，获取每一个分类的首页地址，将分类列表中的一个分类作为当前分类，进而获取当前分类下的应用信息；

判断是否存在还未进行应用信息抓取的分类；

若是，将所述分类列表中除所述当前分类之外的其他分类作为当前分类，并返回执行所述获取当前分类下的应用信息的步骤，直至所述分类列表中所有的分类下的应用信息都被采集。

3.根据权利要求2所述的一种应用商城中应用信息的抓取方法，其特征在于，所述获取当前分类下的应用信息，包括：

获取当前分类下的列表页面链接，进而将获取列表页作为当前分类下的当前列表页；

判断所述当前列表页是否有效；

若是，获取所述当前列表页中所包含的应用信息，并将所述当前列表页的下一列表页作为当前列表页，获取所述当前列表页中所包含的应用信息，直至当前分类下所由的列表页中的应用信息都被抓取；

若否，将所述当前列表页的下一列表页作为当前列表页，并返回执行所述判断所述当前列表页是否有效的步骤，直至当前分类下所由的列表页中的应用信息都被抓取。

4.根据权利要求3所述的一种应用商城中应用信息的抓取方法，其特征在于，所述获取所述当前列表页中所包含的应用信息，包括：

在获取所述当前列表页中所包含的应用信息时，判断所述爬虫规则中是否定义了抓取应用详情的规则；

若是，获取所述当前列表页中所包含的应用详情。

5.一种应用商城中应用信息的抓取装置，其特征在于，所述装置包括：

接收模块，用于接收预定义的与应用商城匹配的爬虫规则，其中，所述预定义的规则中至少包括：与应用商城的标识信息相对应的爬虫标识信息、应用商城的分类列表、应用商城分类列表页面连接模式、列表页抓取配置、详情页抓取配置、抓取脚本、HTTP请求头以及爬虫工具的cookie设置中的至少一种；

解析模块，用于解析所述爬虫规则，并加载所述爬虫规则；

抓取模块，用于根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取。

6.根据权利要求5所述的一种应用商城中应用信息的抓取装置，其特征在于，所述抓取模块，还用于：

获取应用商城的分类列表，并对所述应用商城的分类列表中的每一个分类，获取每一个分类的首页地址，将分类列表中的一个分类作为当前分类，进而获取当前分类下的应用信息；

判断是否存在还未进行应用信息抓取的分类；

若是，将所述分类列表中除所述当前分类之外的其他分类作为当前分类，并返回执行所述获取当前分类下的应用信息的步骤，直至所述分类列表中所有的分类下的应用信息都被采集。

7.根据权利要求6所述的一种应用商城中应用信息的抓取装置，其特征在于，所述抓取模块，还用于：

获取当前分类下的列表页面链接，进而将获取列表页作为当前分类下的当前列表页；

判断所述当前列表页是否有效；

若是，获取所述当前列表页中所包含的应用信息，并将所述当前列表页的下一列表页作为当前列表页，获取所述当前列表页中所包含的应用信息，直至当前分类下所由的列表页中的应用信息都被抓取；

若否，将所述当前列表页的下一列表页作为当前列表页，并返回执行所述判断所述当前列表页是否有效的步骤，直至当前分类下所由的列表页中的应用信息都被抓取。

8.根据权利要求7所述的一种应用商城中应用信息的抓取装置，其特征在于，所述抓取模块，还用于：

在获取所述当前列表页中所包含的应用信息时，判断所述爬虫规则中是否定义了抓取应用详情的规则；

若是，获取所述当前列表页中所包含的应用详情。