[发明专利]数据处理方法以及装置有效
申请号: | 202010340705.3 | 申请日: | 2020-04-26 |
公开(公告)号: | CN111241185B | 公开(公告)日: | 2020-10-27 |
发明(设计)人: | 王潘安 | 申请(专利权)人: | 浙江网商银行股份有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
地址: | 310012 浙江省杭州市西湖区*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 以及 装置 | ||
1.一种数据处理方法,包括:
根据目标业务的历史业务数据确定业务主题,并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表,其中,所述初始主题表还包括业务属性字段以及属性值字段;
根据预设数据分析粒度以及所述业务主题的至少一个数据分析维度对所述历史业务数据进行数据分析,将分析结果插入所述初始主题表的数据单元,生成目标主题表;
将所述目标主题表中的数据按照预先建立的初始数据仓库表的表结构进行同步处理,生成第一数据仓库表,其中,所述初始数据仓库表以所述主题关键字以及所述业务属性字段下的各个属性类别为目标字段进行构建;
通过在所述第一数据仓库表中新增字段的方式,将所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理,生成目标数据仓库表。
2.根据权利要求1所述的数据处理方法,所述根据目标业务的历史业务数据确定业务主题,并基于与所述业务主题对应的业务数据表中的主题关键字构建初始主题表,包括:
对所述历史业务数据进行主题域划分,将划分结果中目标主题域对应的主题确定为所述业务主题;
根据所述业务主题查询与所述业务主题对应的业务数据表;
以所述业务数据表中的主题关键字为目标字段构建所述初始主题表。
3.根据权利要求2所述的数据处理方法,所述初始数据仓库表通过以下方式进行构建:
根据预设筛选规则对所述目标主题表中所述业务属性字段下的各个属性类别进行筛选处理;
将筛选获得的目标属性类别以及所述目标主题表的主题关键字作为目标字段构建所述初始数据仓库表。
4.根据权利要求1所述的数据处理方法,所述通过在所述第一数据仓库表中新增字段的方式,将所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理,生成目标数据仓库表,包括:
在所述第一数据仓库表中新增初始字段生成第二数据仓库表,其中,新增的所述初始字段的数目根据所述业务数据表中包含的字段数目确定;
确定所述业务数据表中主题关键字与各个字段中数据的映射关系;
基于所述第二数据仓库表的表结构,将所述业务数据表中的数据按照所述映射关系进行同步处理,生成所述目标数据仓库表。
5.根据权利要求1所述的数据处理方法,若所述初始主题表为分区表,则所述将分析结果插入所述初始主题表的数据单元,包括:
根据所述初始主题表的分区策略确定分析结果中不同类别的属性数据与所述初始主题表中各个分区的对应关系;
根据所述对应关系将所述不同类别的属性数据依次插入对应的分区下的数据单元。
6.根据权利要求1所述的数据处理方法,所述通过在所述第一数据仓库表中新增字段的方式,将所述业务数据表以及所述第一数据仓库表中包含的字段进行合并处理,生成目标数据仓库表步骤执行之后,还包括:
接收数据查询指令,所述数据查询指令中携带有待查询的数据分析维度以及目标主题关键字;
将所述目标主题关键字作为索引信息,并根据所述目标数据仓库表中主题关键字与数据分析维度字段下数据的映射关系进行数据索引处理;
将索引结果作为数据查询结果输出。
7.根据权利要求6所述的数据处理方法,所述将索引结果作为数据查询结果输出步骤执行之后,还包括:
将所述待查询的数据分析维度与所述数据查询结果中包含的数据分析维度信息进行比对;
在根据比对结果确定所述待查询的数据分析维度中存在任意一个数据分析维度对应的查询结果为空的情况下,则将查询结果为空的数据分析维度确定为待处理的数据分析维度;
根据预设数据分析粒度以及所述待处理的数据分析维度对所述历史业务数据进行数据分析;
将分析结果插入所述目标主题表的数据单元。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江网商银行股份有限公司,未经浙江网商银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010340705.3/1.html,转载请声明来源钻瓜专利网。