[发明专利]一种数据处理方法、装置、设备以及存储介质在审
申请号: | 202111385357.2 | 申请日: | 2021-11-22 |
公开(公告)号: | CN114116865A | 公开(公告)日: | 2022-03-01 |
发明(设计)人: | 田未峰;谢永恒;火一莽 | 申请(专利权)人: | 北京锐安科技有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 李彩玲 |
地址: | 100044 北京市海淀区西小口*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 设备 以及 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
获取数据发送方的原始数据,并将所述原始数据转换为分布式数据;
根据数据提取规则和质量校验规则,对所述分布式数据进行处理,得到目标数据。
2.根据权利要求1所述的方法,其特征在于,在所述获取原始数据,并将所述原始数据转换为分布式数据之前,还包括:
根据所述数据发送方和/或数据接收方的数据提取需求,确定数据提取策略和质量校验策略;其中,所述数据提取策略和所述质量校验策略以XML格式存储;
对所述数据提取策略和所述质量校验策略进行解析,得到数据提取规则和质量校验规则。
3.根据权利要求1所述的方法,其特征在于,所述根据数据提取规则和质量校验规则,对所述分布式数据进行处理,得到目标数据,包括:
根据数据提取规则,对所述分布式数据进行提取,得到中间数据;
根据质量校验规则,对所述中间数据进行校验,得到目标数据。
4.根据权利要求3所述的方法,其特征在于,还包括:
在对所述中间数据进行校验的过程中,若所述中间数据中存在超过设定值的数据错误,则生成包含数据提取失败的告警信息。
5.根据权利要求1所述的方法,其特征在于,还包括:
记录得到所述目标数据的日志信息;其中,所述日志信息包括开始时间、结束时间、以及报错信息。
6.根据权利要求1所述的方法,其特征在于,所述获取发送方的原始数据之后,还包括:
接收数据发送方发送的第一数据账单;
根据所获取的原始数据生成第二数据账单;
比对所述第一数据账单和所述第二数据账单中的数据内容是否一致;
若不一致,则触发重新获取数据机制,重新获取数据发送方的原始数据。
7.根据权利要求1所述的方法,其特征在于,还包括:
对所述目标数据、以及所述目标数据的提取过程和校验过程进行可视化。
8.一种数据处理装置,其特征在于,包括:
分布式数据确定模块,用于获取数据发送方的原始数据,并将所述原始数据转换为分布式数据;
目标数据确定模块,用于根据数据提取规则和质量校验规则,对所述分布式数据进行处理,得到目标数据。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司,未经北京锐安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111385357.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种冲窝工装及其使用方法
- 下一篇:基于区块链及人脸识别的跨行取款方法及装置