[发明专利]针对数据仓库的数据处理方法、介质、装置和计算设备在审
申请号: | 202010925457.9 | 申请日: | 2020-09-04 |
公开(公告)号: | CN111966692A | 公开(公告)日: | 2020-11-20 |
发明(设计)人: | 余利华;郭忆;李卓豪;陈志辉;徐学睿;汪源 | 申请(专利权)人: | 网易(杭州)网络有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/242;G06F16/245;G06F16/28;G06F9/54 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 杨静 |
地址: | 310052 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 针对 数据仓库 数据处理 方法 介质 装置 计算 设备 | ||
1.一种针对数据仓库的数据处理方法,包括:
获取指定指标;
确定所述数据仓库中针对所述指定指标的应用层表格;
基于所述应用层表格的依赖关系,确定数据传输任务的执行规则;以及
基于所述执行规则,执行所述数据传输任务,以将所述应用层表格中的数据传输至数据存储系统,其中,所述数据存储系统用于向客户端提供数据。
2.根据权利要求1所述的方法,其中,所述指定指标包括:分析维度和原子指标;
所述确定所述数据仓库中针对所述指定指标的应用层表格包括:确定所述数据仓库中包含第一字段和第二字段的应用层表格,其中,所述第一字段用于表示所述分析维度,所述第二字段用于表示所述原子指标,所述第一字段的取值类型与所述分析维度的取值类型相同,所述第二字段的取值类型与所述原子指标的取值类型相同;
所述将所述应用层表格中的数据传输至数据存储系统包括:将所述应用层表格中所述第一字段的取值和所述第二字段的取值传输至所述数据存储系统。
3.根据权利要求1所述的方法,其中,所述基于所述应用层表格的依赖关系,确定数据传输任务的执行规则包括:
基于所述应用层表格的依赖关系,确定产生所述应用层表格的源任务;以及
确定所述数据传输任务的执行规则包括:由所述源任务的执行成功事件触发执行所述数据传输任务。
4.根据权利要求3所述的方法,其中,所述基于所述执行规则,执行所述数据传输任务包括:
监测所述源任务所在任务流的执行情况;以及
响应于所述源任务执行成功的事件,执行所述数据传输任务。
5.根据权利要求3所述的方法,还包括:
获取所述数据仓库中的多个任务各自的执行语句;
基于所述多个任务各自的执行语句,确定所述数据仓库中多个表格各自的源任务、所述多个表格之间的上下游关系、以及所述多个任务之间的调度关系,以作为所述多个表格的依赖关系;以及
将所述多个表格的依赖关系存储于图数据库,其中,所述应用层表格的依赖关系从所述图数据库获取得到。
6.根据权利要求2所述的方法,还包括:在将所述应用层表格中的数据传输至数据存储系统之前,
确定所述数据存储系统中是否存在预置表格;
如果否,则在所述数据存储系统中创建目标表格,使得所述目标表格包含所述第一字段和所述第二字段;以及
如果是,则确定所述预置表格是否包含所述第一字段和所述第二字段;是则将所述预置表格作为目标表格;否则对所述预置表格进行修改,以使所述预置表格包含所述第一字段和所述第二字段,并将修改后的所述预置表格作为目标表格;
所述将所述应用层表格中所述第一字段的取值和所述第二字段的取值传输至所述数据存储系统包括:将所述应用层表格中所述第一字段的取值作为所述目标表格中所述第一字段的取值,并将所述应用层表格中所述第二字段的取值作为所述目标表格中所述第二字段的取值。
7.根据权利要求6所述的方法,其中,所述确定所述预置表格是否包含所述第一字段和所述第二字段包括:
确定所述预置表格中是否包含:与所述第一字段相匹配的第三字段和与所述第二字段相匹配的第四字段;以及
如果是,则在确定所述第三字段的取值类型与所述第一字段的取值类型相同、且所述第四字段的取值类型与所述第二字段的取值类型相同的情况下,确定所述预置表格包含所述第一字段和所述第二字段。
8.一种针对数据仓库的数据处理装置,包括:
指标获取模块,用于获取指定指标;
第一确定模块,用于确定所述数据仓库中针对所述指定指标的应用层表格;
第二确定模块,用于基于所述应用层表格的依赖关系,确定数据传输任务的执行规则;以及
数据传输模块,用于基于所述执行规则,执行所述数据传输任务,以将所述应用层表格中的数据传输至数据存储系统,其中,所述数据存储系统用于向客户端提供数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010925457.9/1.html,转载请声明来源钻瓜专利网。