[发明专利]一种基于大数据平台的多源数据融合共享实现方法及系统在审
申请号: | 201811426832.4 | 申请日: | 2018-11-27 |
公开(公告)号: | CN109710667A | 公开(公告)日: | 2019-05-03 |
发明(设计)人: | 张帅;谢莹莹;郭庆;宋怀明;蒋丹东 | 申请(专利权)人: | 中科曙光国际信息产业有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/22;G06K9/62 |
代理公司: | 北京兰亭信通知识产权代理有限公司 11667 | 代理人: | 赵永刚 |
地址: | 266101 山东省青岛市*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种基于大数据平台的多源数据融合共享实现方法及系统,所述方法包括配置至少一个数据源信息和定时规则,并按照所配置的定时规则执行数据接入作业,数据接入作业为从所获取的至少一个数据源中抽取数据、或互联网数据采集、或转换数据、或装载数据至大数据平台;对数据接入作业中所接入的数据按照所配置的定时规则进行数据融合作业;对经数据融合作业后的数据进行分层分库存储形成存储库,并在所述存储库上构建二级索引库;通过在所构建的大数据平台中设置统一的数据交换接口进行数据共享。本发明能够面对不同场景和多源数据只需通过灵活的配置无需再次进行开发,极大提高项目上线部署效率,极大简化上层应用对大数据平台上数据的检索。 | ||
搜索关键词: | 大数据 定时规则 多源数据 数据接入 数据融合 存储库 配置的 构建 数据交换接口 互联网数据 数据源信息 抽取数据 二级索引 上层应用 上线部署 数据共享 转换数据 共享 融合 灵活的 数据源 分层 配置 检索 装载 存储 采集 场景 开发 统一 | ||
【主权项】:
1.一种基于大数据平台的多源数据融合共享实现方法,其特征在于,包括:配置至少一个数据源信息和定时规则,并按照所配置的定时规则执行数据接入作业,其中,所述数据接入作业为从所获取的至少一个数据源中抽取数据、或互联网数据采集、或转换数据、或装载数据至大数据平台;对数据接入作业中所接入的数据按照所配置的定时规则进行数据融合作业;对经数据融合作业后的数据进行分层分库存储形成存储库,并在所述存储库上构建二级索引库;通过在所构建的大数据平台中设置统一的数据交换接口进行数据共享。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科曙光国际信息产业有限公司,未经中科曙光国际信息产业有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811426832.4/,转载请声明来源钻瓜专利网。