[发明专利]一种基于互联网的信息定向抓取方法及系统在审
申请号: | 201711193843.8 | 申请日: | 2017-11-24 |
公开(公告)号: | CN108090133A | 公开(公告)日: | 2018-05-29 |
发明(设计)人: | 陈卿 | 申请(专利权)人: | 深圳市知小兵科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 武汉蓝宝石专利代理事务所(特殊普通合伙) 42242 | 代理人: | 吴阳 |
地址: | 518000 广东省深圳市宝*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明适用于互联网技术领域,提供了一种基于互联网的信息定向抓取方法,所述方法包括:设置目标网站的抓取配置信息;根据所述抓取配置信息,从目标网站内抓取文本数据;所述文本数据包括文档数据、word数据、excell数据和/或PDF数据;对抓取的文本数据进行整合和筛选,剔除无用的第一文本数据,保留具有用途的第二文本数据,并将保留的第二文本数据作为原始文本数据;对原始文本数据进行编译转换,转换成主机服务器可识别的原始文本数据,并将编译转换后的原始文本数据存储至数据库;将数据库内存储的原始文本数据进行逐条发布,能够在海量信息中准确、及时、方便的定向抓取目标信息,并将目标信息进行存储和逐条发布,满足用户信息查询需求。 | ||
搜索关键词: | 抓取 文本数据 原始文本数据 目标网站 目标信息 配置信息 存储 转换 编译 数据库 用户信息查询 互联网技术 主机服务器 海量信息 文档数据 互联网 可识别 保留 整合 剔除 发布 筛选 | ||
【主权项】:
1.一种基于互联网的信息定向抓取方法,其特征在于,所述方法包括如下步骤:设置目标网站的抓取配置信息;根据所述抓取配置信息,从目标网站内抓取文本数据;所述文本数据包括文档数据、word数据、excell数据和/或PDF数据;对抓取的文本数据进行整合和筛选,剔除无用的第一文本数据,保留具有用途的第二文本数据,并将保留的第二文本数据作为原始文本数据;对原始文本数据进行编译转换,转换成主机服务器可识别的原始文本数据,并将编译转换后的原始文本数据存储至数据库;将数据库内存储的原始文本数据进行逐条发布。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市知小兵科技有限公司,未经深圳市知小兵科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711193843.8/,转载请声明来源钻瓜专利网。