[发明专利]一种基于HTTP协议的新闻APP数据采集方法及系统

说明书

技术领域

本发明涉及互联网技术领域，更具体地说，涉及一种基于HTTP协议的新闻APP数据采集方法及系统。

背景技术

随着移动互联网的发展，网民通过手机APP浏览新闻并发表评论已逐渐成为一种趋势。各大网站纷纷推出自有的新闻客户端，如搜狐、凤凰等，各新闻客户端形式多样，且内容繁杂，这样对移动终端的网络舆情监控提出了新的管理挑战和要求，其中，新闻APP数据采集是网络舆情监控的重要环节。而目前并没有关于新闻APP数据采集的解决方案。

发明内容

本发明要解决的技术问题在于，针对目前并没有关于新闻APP数据采集的解决方案，提供一种基于HTTP协议的新闻APP数据采集方法及系统。

本发明解决上述问题的技术方案是提供了一种基于HTTP协议的新闻APP数据采集系统，该系统至少包括一移动终端和一Windows机器，其中，所述移动终端与所述Windows机器连接，所述移动终端上安装一新闻APP，所述新闻APP用于访问页面，所述Windows机器用于在所述新闻APP访问页面时监听所述新闻APP所访问的所述页面的所有网络请求，分析监听到所有网络请求的报文以获取请求地址，并模拟所述请求地址访问以获取所述页面的所有网络请求的数据。

在上述基于HTTP协议的新闻APP数据采集系统中，所述Windows机器还用于在所述新闻APP访问页面时监听所述新闻APP所访问的所述页面的所有网络应答，分析监听到所有网络应答的报文并过滤所有网络应答返回的格式不 是JSON格式的数据和非APP域名的数据以获取所述页面的所有网络应答返回的格式为JSON格式的数据且为APP域名的数据。

在上述基于HTTP协议的新闻APP数据采集系统中，所述移动终端与所述Windows机器连接，设置所述Windows机器的http代理端口，以提供使所述移动终端连接其所在局域网的无线网络；设置所述移动终端的http代理及端口，使所述移动终端连接所述Windows机器所在局域网的无线网络。

在上述基于HTTP协议的新闻APP数据采集系统中，所述Windows机器包括监听模块、分析模块和获取模块，所述监听模块为安装在所述Windows机器的抓包工具，其中：

所述监听模块用于在所述新闻APP访问页面时监听所述页面的所有网络请求和所有网络应答；

所述分析模块用于分析所述监听模块监听到的所有网络请求的报文并获取所有网络请求的请求地址；

所述获取模块用于模拟所述请求地址访问并获取所有网络请求的数据。

在上述基于HTTP协议的新闻APP数据采集系统中，所述分析模块还用于分析所述监听模块监听到的所有网络应答的报文并过滤所有网络应答返回的格式不是JSON格式的数据和非APP域名的数据；

所述获取模块还用于获取所有网络应答返回的格式为JSON格式的数据且为APP域名的数据。

本发明还提供了一种基于HTTP协议的新闻APP数据采集方法，该方法包括以下步骤：

S1、移动终端上安装一新闻APP；

S2、建立所述移动终端与所述Windows机器的连接；

S3、所述Windows机器在所述新闻APP访问页面时监听所述新闻APP所访问的所述页面的所有网络请求，分析监听到所有网络请求的报文以获取请求地址，并模拟所述请求地址访问以获取所述页面的所有网络请求的数据。

在上述基于HTTP协议的新闻APP数据采集方法中，所述方法进一步包括：

所述Windows机器在所述新闻APP访问页面时监听所述新闻APP所访问的 所述页面的所有网络应答，分析监听到所有网络应答的报文并过滤所有网络应答返回的格式不是JSON格式的数据和非APP域名的数据以获取所述页面的所有网络应答返回的格式为JSON格式的数据且为APP域名的数据。

在上述基于HTTP协议的新闻APP数据采集方法中，所述步骤S2包括：

设置所述Windows机器的http代理端口，以提供使所述移动终端连接其所在局域网的无线网络；

设置所述移动终端的http代理及端口，使所述移动终端连接所述Windows机器所在局域网的无线网络。

在上述基于HTTP协议的新闻APP数据采集方法中，所述步骤S3包括：

所述Windows机器在所述新闻APP访问页面时通过安装在所述Windows机器的抓包工具监听所述页面的所有网络请求和所有网络应答；

分析所述监听模块监听到的所有网络请求的报文并获取所有网络请求的请求地址；