[发明专利]一种网页文件采集归档方法

说明书

技术领域

本发明涉及网页文件领域，更具体地，涉及一种网页文件采集归档方法。

背景技术

在档案业务开展工作中，收集原始文件的渠道有多种。有日常协同办公、工程建设项目系统、线下收集的原始文件、实物等。其中一些国家政策、行业通报等资讯来自于外围系统的，这些资讯通常以网页形式发布。为了方便档案工作实际操作，作为数字档案馆，提出网页文件采集归档的需求，即通过网络直接将网页抓取生成档案文件。这样能提高日常档案工作的收集效率，满足归档要求。

发明内容

本发明的目的是解决目前网页档案收集困难的缺陷，提出一种网页文件采集归档方法。

为实现以上发明目的，采用的技术方案是：一种网页文件采集归档方法，包括以下步骤：

S1：确定抓取网页并提供网页文件采集配置；

S2：对被需要抓取的网页进行联通性检测；

S3：发送http请求至目标地址直至网页内容全部加载结束；

S4：对加载内容进行组装；

S5：将内容进行输出，并按照档案门类配置文件生成文件信息；

S6：将生成文件进行存储归档。

与现有技术相比，本发明的有益效果是：本发明通过浏览、抓取、自动生成归档文件的一体化操作，能够达到收集过程不需要人手干预的效果，准确的记录了网页内容，提高了业务的工作效率。

附图说明

图1为流程逻辑图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

请参考图1，图1为流程逻辑图。

一种网页文件采集归档方法，其特征在于，包括以下步骤：

S1：确定抓取网页并提供网页文件采集配置；

S2：对被需要抓取的网页进行联通性检测；

S3：发送http请求至目标地址直至网页内容全部加载结束；

S4：对加载内容进行组装；

S5：将内容进行输出，并按照档案门类配置文件生成文件信息；

S6：将生成文件进行存储归档。

其中步骤S1中文件采集配置包括配置网页的地址、采集时机和网页关键字。

其中步骤S4中组装的风格为按页面CSS风格组装。

其中步骤S5中内容输出的格式为PDF。

其中步骤S5中生成文件支持在线浏览,文件添加水印。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。