[发明专利]一种基于HTTPS加密协议网页内容的采集方法

说明书

技术领域

本发明涉及一种计算机或互联网技术领域, 具体地说是一种基于HTTPS加密协议网页内容的采集方法。 

背景技术

目前对于一些对于安全较为敏感的系统，大都不采用http协议而是选择HTTPS协议。即我们的常说的HTTP的安全版。HTTPS是以安全为目标的。它是在HTTP下加入SSL层，HTTPS不同于HHTP就在于HTTP的默认端口以及一个加密/身份验证层。对于一些需要系统整合的项目，特别是对于一些数据量大，并发量多的子系统之间在保证系统的安全性的同时我们又必须保证子系统之间的交互效率。传统的HTTPS的交互方式分两个阶段：一是客户端获取服务器的证书，并验证证书的内容是否可信，二是客户端和服务器端进行握手协议，并进行数据传输。这样交互在时效性方面难有进步，无疑增加了服务器的负担，同时此种数据交互方式只适用于小量数据以及低频率访问，造成相互独立的子系统之间交互效率底下。 

发明内容

本发明的目的是提供基于HTTPS加密协议网页内容的采集方法。 

本发明的目的是按以下方式实现的，包括采用记录安全信息的方式提高了访问https时效性，利用多线程机制将数据访问的压力转移到服务器上，以提高数据访问频率限制，采用页面抓取的方式获取数据与多线程机制结合减少了HTTPS下访问共享数据库的访问时间，进一步提高时效性，具体步骤如下： 

在https下模拟认证登录，首次登录后，利用浏览器平台能力或编码将认证通过后的安全信息都记录在安全服务器上，以提高访问https的时效性，https协议下被访问的页面通过线程在后台准备好需要交互的数据，子系统交互通过抓取页面已有数据交互。

本发明的有益效果：采用记录安全信息的方式提高了访问https时效性，利用多线程机制将数据访问的压力转移到服务器上，提高数据访问频率限制。采用页面抓取的方式获取数据与多线程机制结合减少了HTTPS下访问共享数据库的访问时间。进一步提高时效性。 

对比子系统之间数据交互的几种数据访问方式，访问https下的数据时我们采用多线程机制将数据准备在页面上供程序抓取，缩短了访问共享数据时间，同时将https下访问时的认证安全信息记录下来，最耗时的验证环节将缩短时间，数据文件交互时间主要是API完成了，时效性进一步提高。 

附图说明

图1是用到的集中数据交互方式对比表； 

图2是系统结构示意图。

具体实施方式

参照说明书附图对本发明的方法作以下详细地说明。 

采用记录安全信息的方式提高了访问https时效性，利用多线程机制将数据访问的压力转移到服务器上，以提高数据访问频率限制，采用页面抓取的方式获取数据与多线程机制结合减少了HTTPS下访问共享数据库的访问时间，进一步提高时效性，具体步骤如下： 

在https下模拟认证登录，首次登录后，利用浏览器平台能力或编码将认证通过后的安全信息都记录在安全服务器上，以提高访问https的时效性，https协议下被访问的页面通过线程在后台准备好需要交互的数据，子系统交互通过抓取页面已有数据交互。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。