[发明专利]下载网站静态网页的系统及方法

说明书

技术领域

本发明涉及一种下载网站静态网页的系统及方法。

背景技术

近年来，由于网络世界的蓬勃发展，网上浏览资讯已成为人们日常工作、学习和生活中不可或缺的一个重要部分，网络的信息量大，已成为全球“最大的图书馆”。

一般而言，使用者在将一电脑与国际互联网连线后，通过电脑的网络浏览器就可至国际互联网浏览网页，用户点击某条资讯后，在新打开的网页里面显示这条资讯的全部内容，这个网页里面包括资讯内容，广告和其它与此资讯无关的内容。然而，对企业一些不能与国际互联网连线的部门员工来说，不能通过网络浏览器上网浏览所需资讯给他们的工作带来很多不便。

发明内容

鉴于以上内容，有必要提供一种下载网站静态网页的系统，其可将网站内容按照其组织方式和结构完整的下载到本地，并可过滤不需要的网页内容。

此外，还有必要提供一种下载网站静态网页的方法，其可将网站内容按照其组织方式和结构完整的下载到本地，并可过滤不需要的网页内容。

一种下载网站静态网页的系统，包括至少一台应用服务器、一台与所述应用服务器相连的目标网站服务器，一台与所述应用服务器相连的内部服务器及与所述应用服务器和内部服务器相连的数据库，该应用服务器包括：写入模块，用于根据客户提供的网页下载清单将所需下载的网页的网址写入脚本文件；解析模块，用于解析该脚本文件，从目标网站服务器获取所述网站网页内容，并将所述网页链接保存到数据库及解析所述网页内容以获取目标内容；转换模块，用于将目标内容中所有图片的相对链接转换成绝对链接及将目标内容中所有网页链接的相对链接转换成绝对链接；下载模块，用于通过所述图片的绝对链接将目标内容中所有图片下载并保存到内部服务器；储存模块，用于将目标内容中所有网页的绝对链接保存到数据库，同时生成所述网页绝对链接的标识符并将该标识符保存到数据库；替换模块，用于以目标内容中图片在内部服务器中的链接取代所述图片的绝对链接及用于把将所述网页绝对链接的标识符与网页请求语言写入所述网页在内部服务器中的链接，并以该写入标识符和网页请求语言的链接取代所述网页的绝对链接。

一种下载网站静态网页的方法，该方法包括如下步骤：根据客户提供的网页下载清单将所需下载的网页的网址写入脚本文件；解析该脚本文件，从目标网站服务器获取所述网站网页内容，并将所述网页链接保存到数据库；解析所述网站网页内容以获取目标内容；将目标内容中所有图片的相对链接转换成绝对链接；通过所述绝对链接将目标内容中图片下载并保存到内部服务器；以目标内容中所有图片在内部服务器中的链接取代所述图片的绝对链接；将目标内容中所有网页的相对链接转换成绝对链接；把目标内容中所有网页的绝对链接保存到数据库，同时生成所述网页链接的标识符并将该标识符保存到数据库；将所述网页绝对链接的标识符与网页请求语言写入所述网页在内部服务器中的链接，并以该写入标识符与网页请求语言的链接取代所述网页的绝对链接。

相较于现有技术，所述的一种下载网站静态网页的系统及方法，能将网站按照其组织方式和结构完整的下载到本地，并可过滤不需要的网页内容，使企业不能上国际互联网的人员能通过本地服务器浏览到所需网页信息。

附图说明

图1是本发明下载网站静态网页系统的较佳实施例的硬件框架图。

图2是图1中应用服务器的功能模块图。

图3是本发明下载网站静态网页方法的较佳实施例的流程图。

具体实施方式

如图1所示，是本发明下载网站静态网页系统的较佳实施例的硬件框架图。该系统包括一台应用服务器1、内部服务器2、数据库3、防火墙4、国际互联网5及目标网站服务器6。该系统根据客户提供的网页下载清单通过应用服务器1从国际互联网5链接目标网站服务器6来下载和过滤所需网页，并将下载的网页存入内部服务器2及数据库3中，防火墙4用于管控外部网络的资讯安全。

所述应用服务器1用于下载和过滤网页，所述内部服务器2用于储存与资讯内容有关的图片，所述的数据库3用于储存网页部分的资讯内容。该数据库3和该内部服务器2，可位于应用服务器1内。该数据库3和该内部服务器2可以是硬盘或者闪存盘等存储设备。

如图2所示，是图1中应用服务器的的功能模块图。该应用服务器1包括写入模块10、解析模块12、转换模块14、下载模块16、储存模块18、替换模块20及判断模块22。

所述写入模块10，用于根据客户提供的网页下载清单将所需下载网页的地址写入XQuery脚本文件。