[发明专利]基于大数据的数据处理方法、装置、计算机设备和介质

权利要求书

1.一种基于大数据的数据处理方法，其特征在于，所述方法包括：

接收用户终端发送的数据信息；

对所述数据信息进行编号处理，得到每一个所述数据信息的编号信息，并将编号处理后的数据信息作为待复制数据存储于数据库中；

将所述待复制数据复制到消息队列集群中，作为待封装数据；

接收请求终端发送的数据获取请求，并根据所述数据获取请求对所述待封装数据进行封装，得到待校验数据；

查询与所述待校验数据的编号信息一致的所述待复制数据，作为对比数据；

将所述待校验数据与所述对比数据进行一致性对比，得到对比结果，并根据所述对比结果对所述待校验数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述数据信息进行编号处理，包括：

检测所述数据信息的大小，得到所述数据信息的大小指代符号；

根据所述大小指代符号与所述数据信息的接收时间生成所述数据信息的编号信息。

3.根据权利要求2所述的方法，其特征在于，所述检测所述数据信息的大小，得到所述数据信息的大小指代符号，包括：

若所述数据信息的大小为不大于100KB，则所述大小指代符号为Z；

若所述数据信息的大小为大于100KB且小于1M，则所述大小指代符号为Y；

若所述数据信息的大小为不小于1M，则所述大小指代符号为X。

4.根据权利要求2所述的方法，其特征在于，所述根据所述大小指代符号与所述数据信息的接收时间生成所述数据信息的编号信息，包括：

若至少两个大小范围相同的所述数据信息的接收时间在T时间内，则根据所述T时间内的所述数据信息的数量为所述T时间内的所述数据信息生成序号；

根据所述序号、所述大小指代符号以及所述接收时间生成所述数据信息的编号信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述数据获取请求对所述待封装数据进行封装，得到待校验数据，包括：

读取所述数据获取请求，得到关键信息；

从所述消息队列集群提取与所述关键信息对应的所述待封装数据，并对提取到的所述待封装数据进行封装，生成数据类，作为所述待校验数据。

6.根据权利要求1所述的方法，其特征在于，所述将所述待校验数据与所述对比数据进行一致性对比，得到对比结果，包括：

将所述待校验数据转换为临时数据文件；

通过逐步对比的方式对比所述临时数据文件与所述对比数据的一致性，得到所述对比结果。

7.根据权利要求1所述的方法，其特征在于，所述根据所述对比结果对所述待校验数据进行处理，包括：

若所述对比结果为所述待校验数据与所述对比数据不一致，则从所述消息队列集群清除与所述待校验数据对应的所述待封装数据，并从所述数据库将与所述待校验数据对应的所述待复制数据复制到所述消息队列集群中，作为所述待封装数据，重新封装成所述待校验数据，并重复所述一致性对比操作，直到所述对比结果为所述待校验数据与所述对比数据一致；

若所述对比结果为所述待校验数据与所述对比数据一致，则将所述待校验数据发送至所述请求终端。

8.一种基于大数据的数据处理装置，其特征在于，包括：

接收模块，用于接收用户终端发送的数据信息；

编号模块，用于对所述数据信息进行编号处理，得到每一个所述数据信息的编号信息，并将编号处理后的数据信息作为待复制数据存储于数据库中；

待发模块，用于将所述待复制数据复制到消息队列集群中，作为待封装数据；

封装模块，用于接收请求终端发送的数据获取请求，并根据所述数据获取请求对所述待封装数据进行封装，得到待校验数据；

查询模块，用于查询与所述待校验数据的编号信息一致的所述待复制数据，作为对比数据；

对比模块，用于将所述待校验数据与所述对比数据进行一致性对比，得到对比结果，并根据所述对比结果对所述待校验数据进行处理。