[发明专利]一种无界面仿真浏览器组件设计方法及装置

说明书

本发明涉及一种无界面仿真浏览器内核组件设计方法及装置，其包括浏览器内核引擎和部署架构，所述浏览器内核引擎包括控制器、模拟器、构造器、持久化模块和浏览器内核，所述浏览器内核由JS引擎和渲染引擎两部分组成；所述单机部署，可嵌入应用程序内部独立使用；所述集群部署，可结合数据库集群大规模集群部署。该技术方案支持JS动态内容解析，可获得最终的HTML页面，可集群爬取采集数据，可扩展，效率高，应用范围广，还可应用于大规模定向爬虫云服务、大规模互联网数据采集服务以及大规模集群测试云服务等相关领域。

技术领域

本申请涉及计算机技术领域，具体涉及浏览器技术领域，尤其涉及一种无界面仿真浏览器内核组件设计方法及装置。

背景技术

浏览器是可以显示网页服务器或者文件系统的HTML(HyperTextMarkupLanguage，超文本标记语言)文件内容，并让用户与这些文件交互的一种客户端应用软件。浏览器用来显示在网络内的文字、图像及其他信息。这些文字或图像，可以是连接其他网址的超链接，用户可迅速及轻易地浏览各种信息。

随着JavaScript技术的发展以及HTML5的普及，越来越多的现代WEB应用使用了JS页面动态生成或渲染技术来生成WEB页面，即使用AJAX、WebSocket以及SererPush等WEB通信技术，在页面初始化或页面使用过程中动态获取服务器数据，然后通过JavaScript把数据渲染成最终的HTML页面，呈现在浏览器用户面前。

但JS动态生成技术的应用，也使传统的Http客户端(HttpClient)无法获取到最终HTML，而仅仅是不包含实际数据的页面模版，进而导致一些如：网络爬虫和自动化测试框架等失效问题

传统的应用程序通过HttpClient直接访问需要的WEB资源，HttpClient在接收到WEB服务器返回的HTML数据直接返回给应用程序。如果JS页面生成技术，则技术开发没有任何问题，可以返回最终的HTML，但如果WEB应用使用的是传统的技术开发，那么这种方法只能拿到不含业务数据的HTML模版，而不是用户使用浏览器所看到的最终的HTML呈现。

本发明提供一种无界面仿真浏览器组件设计方法及装置，除了可以解决由JS动态生成技术所带来的无法获得最终HTML页面的问题还进一步解决了浏览器标识(UserAgent)动态生成、模拟用户键盘鼠标动作、大规模集群爬取问题。

发明内容

本发明的目的在于提供一种无界面仿真浏览器组件设计方法及装置，以解决由JS动态生成技术所带来的无法获得最终HTML页面的问题进一步解决浏览器标识(UserAgent)动态生成、模拟用户键盘鼠标动作、大规模集群以及性能问题。

为了解决上述问题，本发明采用了如下的技术方案

一种无界面仿真浏览器组件设计，其包括浏览器内核引擎和部署架构，所述浏览器内核引擎包括控制器、模拟器、构造器、持久化模块和浏览器内核，所述部署架构包括单机部署和集群部署；所述控制器与应用程序交换，提供应用程序可调用的程序接口(API)，同时组织和协调浏览器内核引擎的其它模块配置工作，实现程序接口功能；所述模拟器通过模拟鼠标和键盘事件来模拟用户在浏览器内所发生的真实用户行为和动作；所述构造器生成真实的浏览器标识即UserAgent信息，所述持久化模块保存持久化信息；所述浏览器内核由JS引擎和渲染引擎两部分组成；所述单机部署，可嵌入应用程序内部独立使用；所述集群部署，可结合数据库集群大规模集群部署。

进一步的，所述模拟器模拟用户的行为和动作，可通过扩展，自定义模拟由基础动作而组成的任何组合动作。

进一步的，所述构造器通过持久化模块中海量存储的的UserAgent信息，根据需要生成真实UserAgent标识。