[发明专利]一种处理数据的方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种处理数据的方法及装置。

背景技术

传统的计算机分析和数据整理方式，首先是收集数据，然后储存在数据库程序中并且在收到请求后搜索这些数据。这是一个高效的处理方式，但却是一个紧绷的结构，而且通常会造成时间的浪费。而在流计算当中，高级软件的运算法则在接收流数据时就开始对其进行分析。现有技术中，主要是对增量数据进行增量流计算，针对全量数据还没有一种较有效的流计算方法。

发明内容

有鉴于此，本发明提供了一种处理数据的方法及装置，能够对全量数据进行流计算。

一方面，本发明提供了一种处理数据的方法，包括：

S0：获取目标数据，将具有相同主键的目标数据存储到同一个线性链表中，记录每个目标数据存入对应的线性链表中的存入时间；

S1：获取每个线性链表中的每个目标数据的存入时间；

S2：根据每个线性链表中的每个目标数据的存入时间，确定每个目标数据的在同一个线性链表中的前一个存入的前目标数据；

S3：根据每个目标数据和每个目标数据对应的前目标数据，确定所述每个目标数据与对应的前目标数据的增量数据；

S4：根据每个线性链表中的每个增量数据，对应每个线性链表中的所有目标数据进行处理。

进一步地，该方法还包括：预先设置高速消息队列；

所述S0中，所述获取目标数据包括：

通过高速消息队列接收外部输入的待处理数据；

接收外部输入的数据需求信息；

根据所述数据需求信息，从所述高速消息队列中的所述待处理数据中筛选出所述目标数据。

进一步地，该方法还包括：接收外部输入的目标字段信息；

所述S3，包括：

根据所述目标字段信息，确定所述每个目标数据的目标字段，以及每个前目标数据的目标字段；

确定所述每个目标数据的目标字段与每个目标数据对应的前目标数据的目标字段的增量数据。

进一步地，所述将具有相同主键的目标数据存储到同一个线性链表中，包括：

按照所述高速消息队列接收所述目标数据的时间顺序，将具有相同主键的目标数据依次存储到同一个线性链表中。

进一步地，在所述通过高速消息队列接收外部输入的待处理数据之后，还包括：将所述高速消息队列接收到的待处理数据存储到内存中。

进一步地，该方法还包括：预先为每个高速消息队列设置互为备份的备份高速消息队列；

将每个高速消息队列接收到的待处理数据写入到日志文件中，将写入到日志文件中的待处理消息写入到每个高速消息队列对应的备份高速消息队列中。

另一方面，本发明提供了一种处理数据的装置，包括：

数据获取单元，用于获取目标数据，将具有相同主键的目标数据存储到同一个线性链表中，记录每个目标数据存入对应的线性链表中的存入时间；

时间获取单元，用于获取每个线性链表中的每个目标数据的存入时间；

第一确定单元，用于根据每个线性链表中的每个目标数据的存入时间，确定每个目标数据的在同一个线性链表中的前一个存入的前目标数据；

第二确定单元，用于根据每个目标数据和每个目标数据对应的前目标数据，确定所述每个目标数据与对应的前目标数据的增量数据；

流计算单元，用于根据每个线性链表中的每个增量数据，对应每个线性链表中的所有目标数据进行处理。

进一步地，该装置还包括：第一设置单元，用于设置高速消息队列；

所述数据获取单元，在执行所述获取目标数据时，具体执行：通过高速消息队列接收外部输入的待处理数据，接收外部输入的数据需求信息，根据所述数据需求信息，从所述高速消息队列中的所述待处理数据中筛选出所述目标数据。

进一步地，该装置还包括：接收单元，用于接收外部输入的目标字段信息；

所述第二确定单元，用于根据所述目标字段信息，确定所述每个目标数据的目标字段，以及每个前目标数据的目标字段，确定所述每个目标数据的目标字段与每个目标数据对应的前目标数据的目标字段的增量数据。

进一步地，所述数据获取单元，在执行所述将具有相同主键的目标数据存储到同一个线性链表中时，具体执行：按照所述高速消息队列接收所述目标数据的时间顺序，将具有相同主键的目标数据依次存储到同一个线性链表中。

进一步地，所述数据获取单元，还用于在所述通过高速消息队列接收外部输入的待处理数据之后，将所述高速消息队列接收到的待处理数据存储到内存中。