[发明专利]数据测试方法、装置、设备及计算机存储介质在审
申请号: | 202111091898.4 | 申请日: | 2021-09-17 |
公开(公告)号: | CN113868283A | 公开(公告)日: | 2021-12-31 |
发明(设计)人: | 尹小芳;徐山凌;江旻;杨杨;张晶 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06F16/242 | 分类号: | G06F16/242;G06F11/14;G06F16/2457;G06F16/28 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 王花丽;张颖玲 |
地址: | 518052 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 测试 方法 装置 设备 计算机 存储 介质 | ||
本申请实施例提供了一种数据测试方法、装置、电子设备及计算机存储介质;该方法包括:针对每种大数据业务需求,确定对应的客户级数据模型,所述客户级数据模型包括所述每种大数据业务需求对应的数据仓库工具中的至少一个表、以及所述至少一个表中每个表的查询关键字,所述查询关键字用于表征至少一种客户身份的信息;针对每种大数据业务需求对应的所述客户级数据模型,按照客户身份进行数据备份,得到备份结果,所述备份结果包括所述至少一种客户身份中每种客户身份的备份数据;在获取数据测试请求后,对所述备份结果进行处理,得到待测试数据;对所述待测试数据进行数据测试。
技术领域
本申请涉及金融科技(Fintech)的大数据测试技术,涉及但不限于一种数据测试方法、装置、电子设备及计算机存储介质。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技转变,但由于金融行业的安全性、实时性要求,也对技术提出了更高的要求。
目前,可以利用数据仓库工具如hive实现数据的抓取和备份,从而进行大数据测试,然而,相关技术中,利用hive实现数据的抓取和备份,是针对一个分区实现的操作,无法针对某个具体客户的相关数据实现数据抓取,难以满足大数据测试任务的实际需求。
发明内容
本申请实施例提供一种数据测试方法、装置、电子设备及计算机存储介质,可以针对每种客户身份实现数据备份,从而在进行数据测试时,可以获取与每种客户身份对应的测试数据,可以满足大数据测试任务的实际需求。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种数据测试方法,所述方法包括:
针对每种大数据业务需求,确定对应的客户级数据模型,所述客户级数据模型包括所述每种大数据业务需求对应的数据仓库工具中的至少一个表、以及所述至少一个表中每个表的查询关键字,所述查询关键字用于表征至少一种客户身份的信息;
针对每种大数据业务需求对应的所述客户级数据模型,按照客户身份进行数据备份,得到备份结果,所述备份结果包括所述至少一种客户身份中每种客户身份的备份数据;
在获取数据测试请求后,对所述备份结果进行处理,得到待测试数据;对所述待测试数据进行数据测试。
在本申请的一些实施例中,所述针对每种大数据业务需求,确定对应的客户级数据模型,包括:
确定所述每种大数据业务需求对应的至少一种大数据任务;对所述至少一种大数据任务进行分析,确定所述至少一种大数据任务的任务依赖树,所述任务依赖树表示所述至少一种大数据任务中每种大数据任务的任务依赖关系;
对所述任务依赖树中的每种任务进行分析,确定所述任务依赖树中的每种任务对应的数据仓库工具中的结果表;将所述结果表作为所述每种大数据业务需求对应的数据仓库工具中的至少一个表;
根据所述每种大数据业务需求对应的数据仓库工具中的至少一个表、以及所述至少一个表中每个表的查询关键字,确定所述每种大数据业务需求对应的所述客户级数据模型。
在本申请的一些实施例中,所述对所述任务依赖树中的每种任务进行分析,确定所述任务依赖树中的每种任务对应的数据仓库工具中的结果表,包括:
在所述任务依赖树中的任务为数据抽取任务时,读取所述任务依赖树中的任务依赖的表,将读取到的表作为所述任务依赖树中的任务对应的数据仓库工具中的结果表;
在所述任务依赖树中的任务为加工任务时,确定所述任务依赖树中的任务对应的脚本存放路径,从所述脚本存放路径读取脚本,执行读取的所述脚本,得到所述任务依赖树中的任务对应的数据仓库工具中的结果表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111091898.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种多个3D相机联合标定的方法及设备
- 下一篇:一种气泵压力调节方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置