[发明专利]基于爬虫技术的信息系统监理价格库生成方法

摘要

本发明公开了一种基于爬虫技术的信息系统监理价格库生成方法，包括：收集发布中标结果公告的网站信息；抓取中标结果公告；将网页资料按规则创建目录分类存放在下载资料库中；提取中标结果公告和报价明细表；提取项目信息并将其存入价格库；将招标文件和报价明细表自动上传到文档管理系统；提取资源报价信息并存入到价格库中形成价格记录，每条价格记录关联对应的项目信息和项目文件的URL；进行索引操作，创建索引，获取关键词，对检索的结果进行过滤；进行资源报价检索；对价格检索结果进行过滤；自动删除价格库中过时的项目信息和价格信息，以及项目资料库中的对应文档。本发明能找到类似项目的实际数据、能保证数据的时效性、检索效率较高。

主权项

1.一种基于爬虫技术的信息系统监理价格库生成方法，其特征在于，包括如下步骤：A)收集发布中标结果公告的网站信息；B)通过网络爬虫工具抓取中标结果公告；C)将抓取的网页资料按一定的规则创建目录，分类存放在下载资料库中；所述目录按照如下层次进行存储：域名、日期、公告标题、公告、招标文件和报价明细；D)采用分析处理程序分析所述下载资料库中的中标结果公告，按照域名和日期提取新采集到的中标结果公告和报价明细表；E)所述分析处理程序对中标结果公告文件和招标文件进行解析，从中提取项目信息并将其存入价格库；F)所述分析处理程序将所述招标文件和报价明细表自动上传到文档管理系统，将所述项目信息作为文件标签和属性，附加到上传的所述招标文件和报价明细表中，并获取所述招标文件和报价明细表在所述文档管理系统中的URL；G)所述分析处理程序对所述报价明细表进行解析，提取资源报价信息并将其存入到价格库中形成价格记录，同时每条价格记录关联上对应的项目信息和项目文件的URL；所述项目文件包括招标文件和报价明细表；H)所述文档管理系统自动对所述招标文件和报价明细表进行索引操作，创建索引，获取关键词，根据文件标签和属性对检索的结果进行过滤；I)采用价格检索程序进行资源报价检索；J)对价格检索结果进行过滤；K)当价格资料超过设定的时效时，自动删除价格库中过时的项目信息和价格信息，以及项目资料库中的对应文档。