[发明专利]基于大数据的数据处理方法、装置、计算机设备和介质

说明书

本申请属于数据处理领域，公开了一种基于大数据的数据处理方法、装置、计算机设备及可读存储介质。所述方法包括接收用户终端发送的数据信息；对数据信息进行编号处理，得到每一个数据信息的编号信息，并将编号处理后的数据信息作为待复制数据存储于数据库中；将待复制数据复制到消息队列集群中，作为待封装数据；接收请求终端发送的数据获取请求，并根据数据获取请求对所述待封装数据进行封装，得到待校验数据；查询与待校验数据的编号信息一致的所述待复制数据，作为对比数据；将待校验数据与对比数据进行一致性对比，得到对比结果，并根据对比结果对待校验数据进行处理。采用本方法解决了现有技术中无法对特征进行准确提取的技术问题。

技术领域

本申请涉及数据处理领域，特别是涉及一种基于大数据的数据处理方法、装置、计算机设备和存储介质。

背景技术

伴随着云计算和大数据的发展，高并发、高负载的数据运算处理也越来越多。其中，数据在系统之间的传递也越来越多，而传统技术中的数据传递方式必须通过逐级传递，在一个系统上完成一项操作之后，才能够将数据传输至下一系统进行操作，使得数据处理在系统之间的处理时间较长，不能够做到及时回复。因此消息队列应用而生，消息队列作为一种分布式应用间交换信息的技术，能够驻留在磁盘或者内存上，队列存储消息直到信息被系统读走。通过消息队列，系统可以独立的执行相应的操作，多个操作同时进行，而不需要进行逐级的传递，节省了数据传递的时间，使得数据处理的时间急剧缩短。但是由于在消息队列中读取到数据有可能并不原始的数据，因此就有可能会出现从消息队列集群中读取到的数据信息与数据库中的数据信息不一致的技术问题。

发明内容

基于此，有必要针对上述技术问题，本申请提供一种基于大数据的数据处理方法、装置、计算机设备及存储介质，以解决现有技术中无法对特征进行准确提取，导致的从消息队列集群中读取到的数据信息与数据库中的数据信息不一致的技术问题。

一种基于大数据的数据处理方法，所述方法包括：

接收用户终端发送的数据信息；

对所述数据信息进行编号处理，得到每一个所述数据信息的编号信息，并将编号处理后的数据信息作为待复制数据存储于数据库中；

将所述待复制数据复制到消息队列集群中，作为待封装数据；

接收请求终端发送的数据获取请求，并根据所述数据获取请求对所述待封装数据进行封装，得到待校验数据；

查询与所述待校验数据的编号信息一致的所述待复制数据，作为对比数据；

将所述待校验数据与所述对比数据进行一致性对比，得到对比结果，并根据所述对比结果对所述待校验数据进行处理。

一种基于大数据的数据处理装置，所述装置包括：

接收模块，用于接收用户终端发送的数据信息；

编号模块，用于对所述数据信息进行编号处理，得到每一个所述数据信息的编号信息，并将编号处理后的数据信息作为待复制数据存储于数据库中；

待发模块，用于将所述待复制数据复制到消息队列集群中，作为待封装数据；

封装模块，用于接收请求终端发送的数据获取请求，并根据所述数据获取请求对所述待封装数据进行封装，得到待校验数据；

查询模块，用于查询与所述待校验数据的编号信息一致的所述待复制数据，作为对比数据；

对比模块，用于将所述待校验数据与所述对比数据进行一致性对比，得到对比结果，并根据所述对比结果对所述待校验数据进行处理。

一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于大数据的数据处理方法的步骤。