[发明专利]一种应用商城中应用信息的抓取方法及装置

说明书

本发明公开了一种应用商城中应用信息的抓取方法，所述方法包括：接收预定义的与应用商城匹配的爬虫规则，其中，所述预定义的规则中至少包括：与应用商城的标识信息相对应的爬虫标识信息、应用商城的分类列表、应用商城分类列表页面连接模式、列表页抓取配置、详情页抓取配置、抓取脚本、HTTP请求头以及爬虫工具的cookie设置中的至少一种；解析所述爬虫规则，并加载所述爬虫规则；根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取。本发明实施例还提供了一种应用商城中应用信息的抓取方装置。应用本发明实施例，可以提高应用信息的采集效率。

技术领域

本发明涉及一种信息的抓取方法及装置，更具体涉及一种应用商城中应用信息的抓取方法及装置。

背景技术

随着智能手机的发展，手机应用也越来越多，如何对手机应用进行分析是亟待解决的技术问题。

目前，可以通过爬虫技术来统计各个应用商店中的应用的应用信息、应用详情信息等。由于各个应用商店具有差异性，因此，在采集各个应用商店中的应用的应用信息、应用详情信息时，需要进行定制爬虫的开发，因此，现有技术存在采集效率较低的技术问题。

发明内容

本发明所要解决的技术问题在于提供了一种应用商城中应用信息的抓取方法及装置，以提高应用信息的采集效率。

本发明是通过以下技术方案解决上述技术问题的：

本发明实施例提供了一种应用商城中应用信息的抓取方法，所述方法包括：

接收预定义的与应用商城匹配的爬虫规则，其中，所述预定义的规则中至少包括：与应用商城的标识信息相对应的爬虫标识信息、应用商城的分类列表、应用商城分类列表页面连接模式、列表页抓取配置、详情页抓取配置、抓取脚本、HTTP请求头以及爬虫工具的cookie设置中的至少一种；

解析所述爬虫规则，并加载所述爬虫规则；

根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取。

可选的，所述根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取，包括：

获取应用商城的分类列表，并对所述应用商城的分类列表中的每一个分类，获取每一个分类的首页地址，将分类列表中的一个分类作为当前分类，进而获取当前分类下的应用信息；

判断是否存在还未进行应用信息抓取的分类；

若是，将所述分类列表中除所述当前分类之外的其他分类作为当前分类，并返回执行所述获取当前分类下的应用信息的步骤，直至所述分类列表中所有的分类下的应用信息都被采集。

可选的，所述获取当前分类下的应用信息，包括：

获取当前分类下的列表页面链接，进而将获取列表页作为当前分类下的当前列表页；

判断所述当前列表页是否有效；

若是，获取所述当前列表页中所包含的应用信息，并将所述当前列表页的下一列表页作为当前列表页，获取所述当前列表页中所包含的应用信息，直至当前分类下所由的列表页中的应用信息都被抓取；

若否，将所述当前列表页的下一列表页作为当前列表页，并返回执行所述判断所述当前列表页是否有效的步骤，直至当前分类下所由的列表页中的应用信息都被抓取。

可选的，所述获取所述当前列表页中所包含的应用信息，包括：

在获取所述当前列表页中所包含的应用信息时，判断所述爬虫规则中是否定义了抓取应用详情的规则；

若是，获取所述当前列表页中所包含的应用详情。

本发明实施例还提供了一种应用商城中应用信息的抓取装置，所述装置包括：