[发明专利]针对数据仓库的数据处理方法、介质、装置和计算设备在审

专利信息
申请号: 202010925457.9 申请日: 2020-09-04
公开(公告)号: CN111966692A 公开(公告)日: 2020-11-20
发明(设计)人: 余利华;郭忆;李卓豪;陈志辉;徐学睿;汪源 申请(专利权)人: 网易(杭州)网络有限公司
主分类号: G06F16/22 分类号: G06F16/22;G06F16/242;G06F16/245;G06F16/28;G06F9/54
代理公司: 中科专利商标代理有限责任公司 11021 代理人: 杨静
地址: 310052 浙江省杭州*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 针对 数据仓库 数据处理 方法 介质 装置 计算 设备
【权利要求书】:

1.一种针对数据仓库的数据处理方法,包括:

获取指定指标;

确定所述数据仓库中针对所述指定指标的应用层表格;

基于所述应用层表格的依赖关系,确定数据传输任务的执行规则;以及

基于所述执行规则,执行所述数据传输任务,以将所述应用层表格中的数据传输至数据存储系统,其中,所述数据存储系统用于向客户端提供数据。

2.根据权利要求1所述的方法,其中,所述指定指标包括:分析维度和原子指标;

所述确定所述数据仓库中针对所述指定指标的应用层表格包括:确定所述数据仓库中包含第一字段和第二字段的应用层表格,其中,所述第一字段用于表示所述分析维度,所述第二字段用于表示所述原子指标,所述第一字段的取值类型与所述分析维度的取值类型相同,所述第二字段的取值类型与所述原子指标的取值类型相同;

所述将所述应用层表格中的数据传输至数据存储系统包括:将所述应用层表格中所述第一字段的取值和所述第二字段的取值传输至所述数据存储系统。

3.根据权利要求1所述的方法,其中,所述基于所述应用层表格的依赖关系,确定数据传输任务的执行规则包括:

基于所述应用层表格的依赖关系,确定产生所述应用层表格的源任务;以及

确定所述数据传输任务的执行规则包括:由所述源任务的执行成功事件触发执行所述数据传输任务。

4.根据权利要求3所述的方法,其中,所述基于所述执行规则,执行所述数据传输任务包括:

监测所述源任务所在任务流的执行情况;以及

响应于所述源任务执行成功的事件,执行所述数据传输任务。

5.根据权利要求3所述的方法,还包括:

获取所述数据仓库中的多个任务各自的执行语句;

基于所述多个任务各自的执行语句,确定所述数据仓库中多个表格各自的源任务、所述多个表格之间的上下游关系、以及所述多个任务之间的调度关系,以作为所述多个表格的依赖关系;以及

将所述多个表格的依赖关系存储于图数据库,其中,所述应用层表格的依赖关系从所述图数据库获取得到。

6.根据权利要求2所述的方法,还包括:在将所述应用层表格中的数据传输至数据存储系统之前,

确定所述数据存储系统中是否存在预置表格;

如果否,则在所述数据存储系统中创建目标表格,使得所述目标表格包含所述第一字段和所述第二字段;以及

如果是,则确定所述预置表格是否包含所述第一字段和所述第二字段;是则将所述预置表格作为目标表格;否则对所述预置表格进行修改,以使所述预置表格包含所述第一字段和所述第二字段,并将修改后的所述预置表格作为目标表格;

所述将所述应用层表格中所述第一字段的取值和所述第二字段的取值传输至所述数据存储系统包括:将所述应用层表格中所述第一字段的取值作为所述目标表格中所述第一字段的取值,并将所述应用层表格中所述第二字段的取值作为所述目标表格中所述第二字段的取值。

7.根据权利要求6所述的方法,其中,所述确定所述预置表格是否包含所述第一字段和所述第二字段包括:

确定所述预置表格中是否包含:与所述第一字段相匹配的第三字段和与所述第二字段相匹配的第四字段;以及

如果是,则在确定所述第三字段的取值类型与所述第一字段的取值类型相同、且所述第四字段的取值类型与所述第二字段的取值类型相同的情况下,确定所述预置表格包含所述第一字段和所述第二字段。

8.一种针对数据仓库的数据处理装置,包括:

指标获取模块,用于获取指定指标;

第一确定模块,用于确定所述数据仓库中针对所述指定指标的应用层表格;

第二确定模块,用于基于所述应用层表格的依赖关系,确定数据传输任务的执行规则;以及

数据传输模块,用于基于所述执行规则,执行所述数据传输任务,以将所述应用层表格中的数据传输至数据存储系统,其中,所述数据存储系统用于向客户端提供数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010925457.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top