[发明专利]一种可公开的移动APP数据抓取方法

权利要求书

1.一种可公开的移动APP数据抓取方法，其特征在于：包括如下步骤，

S1、启动代理服务，设置防火墙开放监听端口；

S2、搭建手机设备运行环境，并开启远程监控服务，定时启动代理服务和应用无障碍服务权限，并设置手机设备代理，验证网络连通；

S3、启动后端服务和数据缓存服务；

S4、启动手势模拟程序，等待APP数据网络请求，并查看后端日志处理结果；

S5、用浏览器打开手机设备的远程监控服务页面，查看手机设备当前运行程序，监控手机设备状态；

利用APP爬虫中的手势模拟单元对APP进行布局分析，找到布局元素对象，获取其唯一的特征，并根据该特征进行对应操作，以获取APP数据网络请求。

2.根据权利要求1所述的可公开的移动APP数据抓取方法，其特征在于：获取APP数据网络请求的具体过程如下，

A、向下滑动，并在一个固定大小的窗口内，根据设定条件获取首个布局元素对象；

B、将布局元素对象的唯一特征记录到系统缓存，并判断当前布局元素对象是否也记录在内，若是，则执行步骤C，若否，则根据布局元素对象的特征进行点击和/或按压手势，以进入下一级Activity，获取APP数据网络请求；

C、继续向下滑动直至另一个布局元素对象出现或向下滑动时长达到设定时长时，返回上一级Activity；并重复步骤A至B，直到符合结束向下滑动的条件；

D、最后遍历一次不在固定大小窗口内的所有符合设定条件的布局元素对象，并根据各个布局元素对象的特征进行点击和/或按压手势，以令其逐个进入下一级Activity，获取APP数据网络请求。

3.根据权利要求2所述的可公开的移动APP数据抓取方法，其特征在于：所述设定条件为布局元素对象的ID和/或Description和/或Text是否符合设定，若是，则该布局元素对象将被视为首个布局元素对象，若否，则该布局元素对象将不被视为首个布局元素对象；所述布局元素对象的特征为title和/或ID。

4.根据权利要求2所述的可公开的移动APP数据抓取方法，其特征在于：所述结束向下滑动的条件为结束标记出现或在一定时间范围内没有触发新数据。

5.根据权利要求1至4任一所述的可公开的移动APP数据抓取方法，其特征在于：若无法获取APP数据网络请求，则可以从APP内部直接获取文本或分享资源链接的方式获取APP数据网络请求；具体为，首先从APP中复制资源内容到剪贴板，之后使用第三方消息中间服务所提供的jar包，调用其API，完成RPC通信，获取APP数据网络请求。

6.根据权利要求1所述的可公开的移动APP数据抓取方法，其特征在于：所述APP爬虫中包括远程登录终端，利用该远程登录终端设置自动定时任务，拉起并唤醒手势模拟单元，令其依照脚本逻辑完成指定手势任务。

7.根据权利要求1所述的可公开的移动APP数据抓取方法，其特征在于：所述APP爬虫中包括APP监控单元，利用该单元采集手机设备的各种参数；并进行指令下发和完成手机设备与用户之间的信息交互。

8.根据权利要求7所述的可公开的移动APP数据抓取方法，其特征在于：手机设备的各种参数包括Mac地址、网络状态、设备型号、安卓系统版本、IMEI串号、内存和电量剩余百分比；指令下发和完成收集设备与用户之间的信息交互具体包括，实时采集手机设备的图像并传回至浏览器，形成连续的视频播放效果；根据相应用户的鼠标手势，在手机设备上执行手势。

9.根据权利要求7所述的可公开的移动APP数据抓取方法，其特征在于：所述APP爬虫中还包括数据处理后端，所述数据处理后端包括，

基于可编程的代理服务模块；所述代理服务模块能生成证书并安装到手机设备上，可以获取大部分APP的交互数据，并针对需要爬取的结构化数据和图片进行缓存，以提供给下游；

基于Python实现的常驻服务模块；所述常驻服务模块针对多种APP，实现可复用的框架，完成从系统缓存中取出原始数据，解析原始数据并格式化，再推送到下游。