[发明专利]移动终端爬取数据的方法、装置、移动终端和存储介质

说明书

本申请揭示了一种移动终端爬取数据的方法、装置、移动终端和存储介质，其中移动终端中安装有爬虫应用程序，所述方法包括：第一移动终端获取模拟操作程序，其中，模拟操作程序是模拟用户控制移动终端操作的程序；执行模拟操作程序；通过Fiddler工具获取执行模拟操作程序时的响应数据，并将响应数据保存至指定的数据库中；从数据库中提取指定要求的目标数据；将目标数据发送至指定的服务器。本申请从移动终端内部爬取移动终端的相关数据，爬取数据的速度快；无需考虑移动终端的自身加密功能，更容易获取到想要的数据；可以分布式的设置移动终端，扩展性更强；可以通过配置不同的模拟操作程序，获取不同高的数据，使其使用的场景更多。

技术领域

本申请涉及到数据爬取领域，特别是涉及到一种移动终端爬取数据的方法、装置、移动终端和存储介质。

背景技术

网络爬虫(Web crawler)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

现有技术中缺少从移动终端爬取数据的方法，主要是因为移动终端数据具有自身加密功能，因此会出现获取难的情况，如何爬取移动终端的数据，是一种需要解决的问题。

发明内容

本申请的主要目的为提供一种移动终端爬取数据的方法、装置、移动终端和存储介质，旨在解决难以爬取具有自身加密功能的移动终端的数据的问题。

为了实现上述发明目的，本申请提出一种移动终端爬取数据的方法，所述移动终端中安装有爬取移动终端数据的爬虫应用程序，所述方法包括：

第一移动终端获取模拟操作程序，其中，所述模拟操作程序是模拟用户控制移动终端操作的程序；

执行所述模拟操作程序；

通过Fiddler工具获取执行所述模拟操作程序时的响应数据，并将所述响应数据保存至指定的数据库中；

从所述数据库中提取指定要求的目标数据；

将所述目标数据发送至指定的服务器。

进一步地，所述第一移动终端调用预设的模拟操作程序的步骤，包括：

第一移动终端接收所述服务器的连接请求；

若接收到用户输入的允许连接请求的命令，则与所述服务器建立网络连接；

接收所述服务器推送的所述模拟操作程序。

进一步地，所述接收所述服务器推送的模拟操作程序的步骤之前，包括：

与所述服务器建立连接后，发送系统识别码给所述服务器，其中，所述系统识别码用于服务器识别与所述移动终端安装的系统对应的模拟操作程序。

进一步地，所述执行所述模拟操作程序的步骤之前，包括：

接收所述服务器发送的修改参数；

利用所述修改参数修改所述模拟操作程序。