[发明专利]一种招标信息的采集方法在审
申请号: | 201810127175.7 | 申请日: | 2018-02-08 |
公开(公告)号: | CN108415968A | 公开(公告)日: | 2018-08-17 |
发明(设计)人: | 陈晨;欧凌冰;龚澄源;郑红辉;刘蕊儿 | 申请(专利权)人: | 湖南慧集网络科技有限责任公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06Q30/08 |
代理公司: | 广州嘉权专利商标事务所有限公司 44205 | 代理人: | 伍传松 |
地址: | 410000 湖南省长沙市岳麓区岳*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 招标信息 网页数据 采集 网络爬虫 有效信息 数据库 存储 结构化数据库 链接过滤 所属区域 网页采集 网页发布 信息采集 信息媒体 指标组成 表存储 列存储 信息源 抽取 招标 广告 | ||
1.一种招标信息的采集方法,其特征在于,包括步骤:
S100)采集招标信息:以各招标网为信息源,获取招标信息公告的网页数据,然后将此网页数据交由网络爬虫进行信息采集;
S200)提取招标信息:将网络爬虫采集的网页数据中的广告、友情链接过滤掉,然后抽取网页数据中的有效信息,每个信息定义一个指标,所有的指标组成指标列表;
S300)存储招标信息:有效信息使用数据库中的表存储,所提取的每一个指标使用结构化数据库中一列存储,将网页数据、招投标信息媒体来源、所属区域、所述行业、网页发布时间、网页采集时间也分别作为指标,存储于数据库一列。
2.根据权利要求1所述的一种招标信息的采集方法,其特征在于,所述步骤S100采集招标信息还包括网页数据的筛选:招标信息是不定时发布的,网络爬虫的采集频率会高于招标信息更新的最大频率,在采集过程中会出现采集到重复信息的情形;网络爬虫对所要采集的网页数据的地址进行判断,同地址的信息只需采集一次。
3.根据权利要求2所述的一种招标信息的采集方法,其特征在于,所述网络爬虫的信息采集频率为一天一次。
4.根据权利要求1所述的一种招标信息的采集方法,其特征在于,所述有效信息包括:项目名称、项目编号、招标时间、投标时间、投标地点、开标时间、开标地点、预算金额、采购单位、采购单位联系人、采购单位联系方式、采购单位地址、代理机构、代理机构联系人、代理机构联系方式、代理机构地址、采购内容、附件文档。
5.根据权利要求1所述的一种招标信息的采集方法,其特征在于,所述数据库可以是Access、sql server、mysql以及oracle中的任意一种。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南慧集网络科技有限责任公司,未经湖南慧集网络科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810127175.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种房源查询方法及系统
- 下一篇:一种招标信息检索分析方法及系统