[发明专利]数据抽取方法及装置在审
申请号: | 201611161732.4 | 申请日: | 2016-12-15 |
公开(公告)号: | CN108228629A | 公开(公告)日: | 2018-06-29 |
发明(设计)人: | 曹六一;张丹;于晓明 | 申请(专利权)人: | 北大方正集团有限公司;北京北大方正电子有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张莲莲;刘芳 |
地址: | 100871 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明实施例提供一种数据抽取方法及装置。该方法包括:数据抽取插件从数据总线获取数据抽取任务,所述数据总线连接有多个数据抽取插件,每个数据抽取插件用于抽取不同种类的数据;数据抽取插件根据所述数据抽取任务抽取数据;并将其抽取到的数据发送给所述数据总线。本发明实施例基于数据抽取插件的数据抽取子系统,将散步在各个爬虫系统的中的抽取子模块插件化,解除与原系统的紧耦合,因此可以方便的对数据抽取模块进行复用;同时,将抽取模块以插件的方式集中管理,能更好的调配机器物理资源,提高物理资源的利用率。 | ||
搜索关键词: | 数据抽取 插件 抽取 数据总线 物理资源 数据抽取模块 数据总线连接 抽取模块 抽取数据 获取数据 集中管理 爬虫系统 紧耦合 数据发 原系统 子模块 复用 调配 散步 | ||
【主权项】:
1.一种数据抽取方法,其特征在于,包括:数据抽取插件从数据总线获取数据抽取任务,所述数据总线连接有多个数据抽取插件,每个数据抽取插件用于抽取不同种类的数据;所述数据抽取插件根据所述数据抽取任务抽取数据;所述数据抽取插件将其抽取到的数据发送给所述数据总线。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北大方正集团有限公司;北京北大方正电子有限公司,未经北大方正集团有限公司;北京北大方正电子有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201611161732.4/,转载请声明来源钻瓜专利网。