[发明专利]一种网页数据获取方法、智能终端及存储介质

说明书

本发明公开了一种网页数据获取方法、智能终端及存储介质，所述方法包括：接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统；在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户；设置请求缓存，按照实际需求在Nginx配置的http段内增加预设大小的缓存，以获取到请求中的文件流；通过Nginx的脚本语言获取请求中的数据和文件流，并将文件流转换为文件保存到本地。本发明通过Nginx代理目标应用从而截取数据进行分析，无需目标应用提供任何API接口或其他适配操作，有效解决了集成第三方应用尤其是没有提供API接口的数据获取问题。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种网页数据获取方法、智能终端及存储介质。

背景技术

在开发平台集成第三方web系统时，一般有两种集成方案，一种是API接口（Application Programming Interface,应用程序编程接口）集成，另一种是采用的iframe(一种页面嵌套框架)嵌套页面集成方式。

在获取第三方web系统数据时，目前现有技术只有针对API接口集成方式，过程为：服务器先获取目标API的数据流，然后再根据预设的接口信息和数据流的字段的对应关系，在目标API的数据流中特定的字段处提取目标API的接口信息。

但在集成一些没提供API接口系统时，就无法使用API接口集成方式，更无法通过API接口获取第三方系统数据，这时就只能采用iframe嵌套页面的方式集成，但由于是直接将第三方web系统通过iframe形式嵌套，相当于直接操作第三方系统，所以也导致无法获取第三方系统的数据；也就是说现有技术存在的问题是：集成第三方web系统（无API接口或无法通过API接口获取操作数据）时的数据无法获取的问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种网页数据获取方法、智能终端及存储介质，旨在通过Nginx代理目标应用从而截取数据进行分析，无需目标应用提供任何API接口或其他适配操作，有效解决了集成第三方应用尤其是没有提供API接口的数据获取问题。

为实现上述目的，本发明提供一种网页数据获取方法，所述网页数据获取方法包括如下步骤：

接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统；

在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户；

设置请求缓存，按照实际需求在Nginx配置的http段内增加预设大小的缓存，以获取到请求中的文件流；

通过Nginx的脚本语言获取请求中的数据和文件流，并将文件流转换为文件保存到本地。

可选地，所述的网页数据获取方法，其中，所述接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统包括：

接收用户通过浏览器发出的访问Nginx的请求；

将所述访问Nginx的请求通过Nginx转发到代理的第三方web系统。

可选地，所述的网页数据获取方法，其中，所述在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户包括：

在进行Nginx配置时，预先将Nginx的默认用户修改为linux操作系统中权限最高的用户以读写任何目录和文件；

或将保存抓取到的文件目录所有者修改成Nginx的默认用户；