[发明专利]一种二维码大数据快速校验方法

说明书

本发明涉及一种二维码大数据快速校验方法，包括以下步骤，品检数据文件上传时，将多个包含二维码数据的txt格式文件同时上传；同步读取这些txt文件并写入对应的临时表中；分别判断每个文件内数据的唯一性，判断每个文件内数据是否属于当前检测的批次，并判断是否存在非法数据；判断完成后将符合条件的临时表数据整合到一起，再次进行重复数据判断；判断无误后更新原批次表数据对应状态。本发明有效解决了二维码大数据处理中的数据验证以及数据状态更新速度慢的问题，实现了对大批量二维码数据的快速检验，分别检查二维码是否属于当前批次、是否出现重复以及是否已经上传过等快速检验，保证数据的准确性，提高了数据检验的效率。

技术领域

本发明涉及数据检验技术领域，尤其是一种二维码大数据快速校验方法。

背景技术

在印刷行业，尤其是烟包或者药包印刷厂，如何对包装盒上印刷的二维码数据有效性进行快速校验是每个企业在生产流程中必须要面对的问题。而众所周知的是，烟包行业一个车次的包装数量少则十几万，多则上百万，对于不同环节的数据校验需求各不相同，比如在品检模块，当用户上传待检测的码包文件后，系统校验目前常用方法如下：

(1)数据查重：用户选择文件上传后，系统使用文件流按行读取文本文件的内容，每读取一行数据写入内存中的队列中并与已经读取的数据进行比较，判断是否存在重复项；

(2)是否属于当前批次：判断重复数据后需要判断当前上传的数据是否属于某个批次，比如当前生产的批次一共有1000W个烟盒，当前校验的是品检机读取到的100W烟盒上的二维码，要判断这100W数据是否是1000W的子集，不能出现这1000W数据里没有的二维码数据；

(3)是否已经上传：判断属于当前批次后需要判断本次上传的数据是否是初次上传，比如校验的100W数据其中的30W已经被校验过了，这代表实际生产时重复喷码，说明喷码工序存在错误，仅当校验的一百万数据都是初次上传时才能继续执行；

(4)源批次数据状态的更新：通过以上一系列的检测后，需要更改上传数据对应的状态位，比如当前批次一共1000W个烟盒，本次上传100W个，系统需要将这100W条二维码数据对应的状态栏标识为已上传，以此来杜绝重复上传。

由此可见，系统首先读取待检测数据到数据库临时表或性能较高的缓存表中，运用数据库多表连接方式检测数据是否属于当前批次或者是否非法数据，并且判断数据是否存在重复，再比对查找是否有已经检测过的品检二维码，通过以上这些检验步骤后数据才被认定为合格数据，系统会根据每一步的检测给出不符合条件的错误二维码信息。

因此，常见的数据检验方式主要通过程序循环遍历检查，在传统的技术方法下，采用程序循环遍历检测和多文件顺序执行的方法效率很低，小数据量的情况下还勉强可以，一旦数据达到百万甚至千万，程序执行所需的时间和服务器空间要求很高，系统开销巨大，严重影响用户对系统执行结果的掌控。所以，这种方式性能不高，系统处理时花费时间较长，带给用户的体验很不友好，

发明内容

本发明要解决的技术问题是：提供一种二维码大数据快速校验方法，用于机台检测收集到的大数据文件的快速检验，有效解决了二维码大数据处理中的数据验证以及数据状态更新速度慢的问题，提高了数据检验的效率。

本发明解决其技术问题所采用的技术方案是：一种二维码大数据快速校验方法，包括数据的有效性检查方法和数据状态的更新方法两个部分，数据有效性检查方法包括数据文件上传、单文件数据重复性检查、单文件数据合法性检查、多文件数据重复性检查等步骤；数据状态的更新方法主要是更新上传数据的文件状态、上传各文件内的有效上传数量以及整体上传有效数量等步骤；以上步骤如果有错误二维码信息会同步反馈给用户。

具体步骤如下：

一种二维码大数据快速校验方法，包括以下步骤，

1)品检数据文件上传时，将多个包含二维码数据的txt格式文件同时上传；