[发明专利]一种信息处理方法、装置及设备在审
申请号: | 201910707956.8 | 申请日: | 2019-08-01 |
公开(公告)号: | CN111177126A | 公开(公告)日: | 2020-05-19 |
发明(设计)人: | 黄锦鸿;张敏;杨怀新 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/25;G06F16/28 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 刘晖铭;张颖玲 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 信息处理 方法 装置 设备 | ||
本发明实施例提供了一种信息处理方法、装置及设备;该方法包括:获取数据仓库构建需求;根据数据仓库构建需求,从数据源中萃取待萃取数据;依据预设转置责任链,对待萃取数据进行转置处理;预设转置责任链指用于对待萃取数据进行转置处理的流处理模式;将转置后的待萃取数据存储至预设表中,得到数据仓库;预设表指数据仓库中用于存储数据的表结构;当获取到数据分析请求时,响应数据分析请求,依据数据仓库进行数据分析,得到数据分析结果。通过本发明实施例,能够降低构建数据仓库的复杂度。
技术领域
本发明涉及数量仓库领域中的信息处理技术,尤其涉及一种信息处理方法、装置及设备。
背景技术
数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合,用来支持运营管理中的决策制定。而ETL(Extract-Transform-Load,萃取、转置和加载)是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据;其中,数据转置是构建数据仓库的最重要过程。
一般来说,数据仓库构建过程中,在对萃取到的数据进行转置时,如果萃取到的数据为离线数据,则采用批计算引擎进行批计算;而如果萃取到的数据为实时数据,则采用流引擎进行流计算。也就是说,数据转置是根据数据类型采用不同的引擎来实现的,如此,构建数据仓库的复杂度高。
发明内容
本发明实施例提供一种信息处理方法、装置及设备,能够降低构建数据仓库的复杂度。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种信息处理方法,包括:
获取数据仓库构建需求;
根据所述数据仓库构建需求,从数据源中萃取待萃取数据;
依据预设转置责任链,对所述待萃取数据进行转置处理;所述预设转置责任链指用于对所述待萃取数据进行转置处理的流处理模式;
将转置后的待萃取数据存储至预设表中,得到数据仓库;所述预设表指所述数据仓库中用于存储数据的表结构;
当获取到数据分析请求时,响应所述数据分析请求,依据所述数据仓库进行数据分析,得到数据分析结果。
本发明实施例提供一种信息处理装置,包括:
需求获取模块,用于获取数据仓库构建需求;
萃取模块,用于根据所述数据仓库构建需求,从数据源中萃取待萃取数据;
转置模块,用于依据预设转置责任链,对所述待萃取数据进行转置处理;所述预设转置责任链指用于对所述待萃取数据进行转置处理的流处理模式;
存储模块,用于将转置后的待萃取数据存储至预设表中,得到数据仓库;所述预设表指所述数据仓库中用于存储数据的表结构;
分析模块,用于当获取到数据分析请求时,响应所述数据分析请求,依据所述数据仓库进行数据分析,得到数据分析结果。
本发明实施例提供一种信息处理设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现上述所述的信息处理方法。
本发明实施例具有以下有益效果:由于在确定利用数据仓库进行数据分析时,依据数据仓库构建需求所构建的数据仓库,是通过预设转置责任链对从数据源中萃取到的待萃取数据进行转置处理获得的,而不论待萃取数据是离线数据还是实时数据,均能够采用预设转置责任链进行转置处理,从而,数据仓库构建的复杂度低。
附图说明
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910707956.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:电子装置及其操作方法
- 下一篇:一种水性防锈不粘涂层及其涂覆方法