[发明专利]移动APP数据抓取方法、装置及系统

说明书

本申请涉及一种移动APP数据抓取方法、装置及系统，移动APP数据抓取方法包括动态加载服务器提供的插桩脚本；将移动APP中数据交换函数替换为插桩脚本中对应抓取函数；模拟执行操作动作；通过抓取函数抓取操作动作和操作动作对应的APP界面数据。本申请无需设置代理，由于模拟执行操作动作为正常的APP操作，发送正常的数据请求，不会被sslpinning等技术阻挡，从而实现移动APP中数据抓取。

技术领域

本申请属于互联网技术领域，具体涉及一种移动APP数据抓取方法、装置及系统。

背景技术

传统的数据抓取是针对pc时代的web网站，通过爬虫获取网站url所对应的http请求，并解析http请求的结果获取数据。随着近些年互联网的迅猛发展，流量使用和用户习惯已从web网站转移到手机等移动设备上，而现有的爬虫系统是基于流式处理的，使用爬虫集群来进行抓取，并通过后端大数据平台处理挖掘，获得新增数据链接再循环以上步骤。但现有传统抓取方法不能解决移动端App的数据抓取。相关技术中，使用中间人代理攻击方式抓取移动APP数据，其具体实施方法包括设置手机的网络代理，使得移动APP的数据请求经过爬虫用的代理server，实现变相抓去。但这种中间人代理技术需要依赖于https证书，由于移动APP会采用ssl pinning进行双向证书校验，因此中间人代理攻击方法会被sslpinning证书校验所阻挡而失效，导致移动APP数据抓取失败。

发明内容

为至少在一定程度上克服相关技术中使用中间人代理攻击方式抓取移动APP数据，由于移动APP会采用ssl pinning进行双向证书校验，因此中间人代理攻击方法会被sslpinning证书校验所阻挡而失效，导致移动APP数据抓取失败的问题，本申请提供一种移动APP数据抓取方法、装置及系统。

第一方面，本申请提供一种移动APP数据抓取方法，包括：

动态加载服务器提供的插桩脚本；

将移动APP中数据交换函数替换为所述插桩脚本中对应抓取函数；

模拟执行操作动作；

通过所述抓取函数抓取所述操作动作和所述操作动作对应的APP界面数据。

进一步的，还包括：

与服务器建立有线连接，将所述操作动作和所述操作动作对应的APP界面数据发送至服务器。

进一步的，所述模拟执行操作动作，包括：

在移动终端中加载ADB工具；

通过执行ADB工具中的命令模拟执行操作动作。

进一步的，还包括：

实时监控内存中的程序进程，并发送至服务器。

第二方面，本申请提供一种移动APP数据抓取方法，包括：

向移动终端发送插桩脚本；

通过所述插桩脚本获取移动APP的操作动作和所述操作动作对应的APP界面数据。

进一步的，还包括：

判断APP界面数据所属类别；

将所述APP界面数据送入消息队列或直接存入数据库对应类别中。

进一步的，还包括：

根据ADB工具建立类库，所述类库中包括多种操作动作；

与移动终端连接，以使所述移动终端执行所述多种操作动作。

第三方面，本申请提供一种移动APP数据抓取装置，包括：

动态加载模块，用于动态加载服务器提供的插桩脚本；