[发明专利]数据校验的方法、系统及终端设备在审
| 申请号： | 201711257626.0 | 申请日： | 2017-12-04 |
| 公开（公告）号： | CN110019269A | 公开（公告）日： | 2019-07-16 |
| 发明（设计）人： | 李立威;罗翔 | 申请（专利权）人： | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
| 主分类号： | G06F16/23 | 分类号： | G06F16/23;G06F16/27;G06F9/54 |
| 代理公司： | 北京律智知识产权代理有限公司 11438 | 代理人： | 邢雪红;王卫忠 |
| 地址： | 100195 北京市海淀区杏石口路6*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 离线数据 一致性校验 唯一识别 消息队列 终端设备 中间件 抽取 数据一致性校验 读取 数据处理技术 标志读取 数据校验 大数据 影响线 离线 取回 存储 | ||
1.一种线上数据与离线数据一致性校验的方法，包括：
将所需要的数据从离线数据中抽取到线上并存储为线上数据，将抽取的数据的唯一识别标志发送给消息队列中间件；
从消息队列中间件取回唯一识别标志，根据唯一识别标志读取线上数据；以及
将读取的线上数据与离线数据进行对比。
2.根据权利要求1所述的方法，其特征在于，还包括：当对比结果为不一致时，发出警报或通知。
3.根据权利要求1所述的方法，其特征在于，所述离线数据存储于离线数据存储服务器。
4.根据权利要求1所述的方法，其特征在于，所述将读取的线上数据与离线数据进行对比包括：将读取的线上数据写回离线数据存储服务器，并通过离线数据存储服务器上运行的离线分布式存储和计算软件完成对比。
5.根据权利要求1所述的方法，其特征在于，所述离线分布式存储和计算软件为Hive或Hadoop。
6.根据权利要求1所述的方法，其特征在于，所述线上数据存储于线上数据存储服务器。
7.根据权利要求3或6所述的方法，其特征在于，所述离线数据存储服务器或线上数据存储服务器为由多台服务器组成的服务器集群。
8.根据权利要求1所述的方法，其特征在于，所述消息队列中间件运行于消息队列服务器。
9.一种线上数据与离线数据一致性校验的系统，包括：
离线数据抽取模块，用于将所需要的数据从离线数据中抽取到线上并存储为线上数据，将抽取的数据的唯一识别标志发送给消息队列中间件；
线上数据回流模块，用于从消息队列中间件取回唯一识别标志，根据唯一识别标志读取线上数据；以及
一致性校验模块：用于将读取的线上数据与离线数据进行对比。
10.根据权利要求9所述的系统，其特征在于，还包括报警/通知系统，用于当对比结果为不一致时，发出警报或通知。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下的方法步骤：
将所需要的数据从离线数据中抽取到线上并存储为线上数据，将抽取的数据的唯一识别标志发送给消息队列中间件；
从消息队列中间件取回唯一识别标志，根据唯一识别标志读取线上数据；以及
将读取的线上数据与离线数据进行对比。
12.一种终端设备，其特征在于，包括：
处理器；
存储器，存储用于所述处理器控制以下操作的指令：
将所需要的数据从离线数据中抽取到线上并存储为线上数据，将抽取的数据的唯一识别标志发送给消息队列中间件；
从消息队列中间件取回唯一识别标志，根据唯一识别标志读取线上数据；以及
将读取的线上数据与离线数据进行对比。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司，未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201711257626.0/1.html，转载请声明来源钻瓜专利网。
