[发明专利]基于大数据技术的大指数据比对方法

摘要

本发明涉及一种基于大数据技术的大指数据比对方法，其在运行的时候能够在比对JOB中分别生成索引以及比对索引，当有新的第一分布式消息队列或者新的第二分布式消息队列的时候，新的消息直接与索引以及比对索引进行比较输出结果，由于索引以及比对索引中所包含的信息量较少所以整体比对速度能够得到大幅度提升，本发明尤其适用在数据比对量大，消息队列经常更新且需要即时反馈出比对结果的领域。

主权项

基于大数据技术的大指数据比对方法，其特征在于：包括如下步骤：第一步、第一分布式消息队列传递给比对JOB，该第一分布式消息队列包括若干条消息，每一条该消息包括若干个字段信息，第二步、在该比对JOB中按照分布式流式计算按时间顺序截取每一条该消息中的该字段信息，形成信息片段，该信息片段包括若干个该字段信息，第三步、在该比对JOB中配置比对信息，第二分布式消息队列传递给该比对JOB，该第二分布式消息队列包括若干条比对消息，每一条该比对消息包括若干个比对字段信息，第二步中的每一条该消息的该信息片段与一条该比对消息形成一个该比对信息，第二步中的每一条该消息的该信息片段与另外一条该比对消息形成另外一个该比对信息，如此类推，第四步、在该比对JOB中对第三步中的该比对信息进行运算得到比对结果，第五步、由该比对JOB提取每一条该消息的该信息片段中的关键字段形成索引，在该比对JOB中按照分布式流式计算按时间顺序截取每一条该比对消息中的该比对字段信息，形成比对信息片段，该比对信息片段包括若干个该比对字段信息，由该比对JOB提取每一条该比对消息的该比对信息片段中的关键字段形成比对索引，第六步、新的第二分布式消息队列传递给该比对JOB时，在该比对JOB中按照分布式流式计算按时间顺序截取每一条新的比对消息中的新的比对字段信息，形成新的比对信息片段，该新的比对信息片段与第五步中的该索引进行对比并输出结果，第七步、新的第一分布式消息队列传递给该比对JOB时，在该比对JOB中按照分布式流式计算按时间顺序截取每一条新的消息中的新的字段信息，形成新的信息片段，该新的比对信息片段与第五步中的该比对索引进行对比并输出结果，第八步、第六步与第七步循环运行能够即时输出比对结果。