[发明专利]一种基于HTTP协议的新闻APP数据采集方法及系统

权利要求书

1.一种基于HTTP协议的新闻APP数据采集系统，其特征在于，该系统至少包括一移动终端和一Windows机器，其中，所述移动终端与所述Windows机器连接，所述移动终端上安装一新闻APP，所述新闻APP用于访问页面，所述Windows机器用于在所述新闻APP访问页面时监听所述新闻APP所访问的所述页面的所有网络请求，分析监听到所有网络请求的报文以获取请求地址，并模拟所述请求地址访问以获取所述页面的所有网络请求的数据。

2.根据权利要求1中所述的基于HTTP协议的新闻APP数据采集系统，其特征在于，所述Windows机器还用于在所述新闻APP访问页面时监听所述新闻APP所访问的所述页面的所有网络应答，分析监听到所有网络应答的报文并过滤所有网络应答返回的格式不是JSON格式的数据和非APP域名的数据以获取所述页面的所有网络应答返回的格式为JSON格式的数据且为APP域名的数据。

3.根据权利要求2中所述的基于HTTP协议的新闻APP数据采集系统，其特征在于，所述移动终端与所述Windows机器连接，设置所述Windows机器的http代理端口，以提供使所述移动终端连接其所在局域网的无线网络；设置所述移动终端的http代理及端口，使所述移动终端连接所述Windows机器所在局域网的无线网络。

4.根据权利要求2中所述的基于HTTP协议的新闻APP数据采集系统，其特征在于，所述Windows机器包括监听模块、分析模块和获取模块，所述监听模块为安装在所述Windows机器的抓包工具，其中：

所述监听模块用于在所述新闻APP访问页面时监听所述页面的所有网络请求和所有网络应答；

所述分析模块用于分析所述监听模块监听到的所有网络请求的报文并获取所有网络请求的请求地址；

所述获取模块用于模拟所述请求地址访问并获取所有网络请求的数据。

5.根据权利要求4中所述的基于HTTP协议的新闻APP数据采集系统，其 特征在于，所述分析模块还用于分析所述监听模块监听到的所有网络应答的报文并过滤所有网络应答返回的格式不是JSON格式的数据和非APP域名的数据；

所述获取模块还用于获取所有网络应答返回的格式为JSON格式的数据且为APP域名的数据。

6.一种基于HTTP协议的新闻APP数据采集方法，其特征在于，该方法包括以下步骤：

S1、移动终端上安装一新闻APP；

S2、建立所述移动终端与所述Windows机器的连接；

S3、所述Windows机器在所述新闻APP访问页面时监听所述新闻APP所访问的所述页面的所有网络请求，分析监听到所有网络请求的报文以获取请求地址，并模拟所述请求地址访问以获取所述页面的所有网络请求的数据。

7.根据权利要求6中所述的基于HTTP协议的新闻APP数据采集方法，其特征在于，所述方法进一步包括：

所述Windows机器在所述新闻APP访问页面时监听所述新闻APP所访问的所述页面的所有网络应答，分析监听到所有网络应答的报文并过滤所有网络应答返回的格式不是JSON格式的数据和非APP域名的数据以获取所述页面的所有网络应答返回的格式为JSON格式的数据且为APP域名的数据。

8.根据权利要求7中所述的基于HTTP协议的新闻APP数据采集方法，其特征在于，所述步骤S2包括：

设置所述Windows机器的http代理端口，以提供使所述移动终端连接其所在局域网的无线网络；

设置所述移动终端的http代理及端口，使所述移动终端连接所述Windows机器所在局域网的无线网络。

9.根据权利要求7中所述的基于HTTP协议的新闻APP数据采集方法，其特征在于，所述步骤S3包括：

所述Windows机器在所述新闻APP访问页面时通过安装在所述Windows机器的抓包工具监听所述页面的所有网络请求和所有网络应答；

分析所述监听模块监听到的所有网络请求的报文并获取所有网络请求的请求地址；

模拟所述请求地址访问并获取所有网络请求的数据。

10.根据权利要求9中所述的基于HTTP协议的新闻APP数据采集方法，其特征在于，所述步骤S3进一步包括：

分析监听到的所有网络应答的报文并过滤所有网络应答返回的格式不是JSON格式的数据和非APP域名的数据；

获取所有网络应答返回的格式为JSON格式的数据且为APP域名的数据。