[发明专利]数据处理方法、数据处理装置和服务器

说明书

本公开涉及一种数据处理方法、数据处理装置和服务器，该方法包括：接收已采集数据，并根据已采集数据的参数值计算已采集数据的数据摘要；在第一数据表中插入所述已采集数据的行键、时间戳和数据摘要；以所述已采集数据的数据摘要作为行键在第二数据表中查询；所述第二数据表中的行键为数据摘要，所述第二数据表包含一个用于存储计数值的计数列和至少一个用于存储已采集数据的参数值的参数列；若在所述第二数据表中查询到所述已采集数据的数据摘要，则将对应的行数据中的所述计数值叠加固定值。由此，对于接收到的相同数据，在第二数据表中不重复存储该数据，仅通过计数值来标记该数据重复的次数，从而可以节省存储空间。

技术领域

本公开涉及通信技术领域，尤其涉及一种数据处理方法、数据处理装置和服务器。

背景技术

HBase(Hadoop Database，Hadoop数据库)是一种面向列、可伸缩、实时读写的分布式存储数据库，能够实现复杂任务的并行和分布处理，具有很高的处理性能和可靠性。

然而，HBase可能存储了大量的重复数据，浪费了大量的存储空间。例如，针对用于进行用户行为分析的大数据分析软件，使用HBase存储AP(Access Point，接入点)在每个时刻上报的位置信息。如果AP的位置在一个时间段内没有发生改变，则该AP在该时间段内的每个时刻上报相同的位置信息，这导致HBase表中存储了大量的重复的位置信息。

因此，需要对存储在HBase表中的数据进行去重处理，以删除HBase表中的重复数据，从而节省存储空间。

发明内容

有鉴于此，本公开提出了一种数据处理方法、数据处理装置和服务器。

根据本公开的第一方面，提供了一种数据处理方法，该方法包括：

接收已采集数据，并根据所述已采集数据的参数值计算所述已采集数据的数据摘要；

在第一数据表中插入所述已采集数据的行键、时间戳和数据摘要；

以所述已采集数据的数据摘要作为行键在第二数据表中查询；所述第二数据表中的行键为数据摘要，所述第二数据表包含一个用于存储计数值的计数列和至少一个用于存储所述已采集数据的参数值的参数列；

若在所述第二数据表中查询到所述已采集数据的数据摘要，则将对应的行数据中的所述计数值叠加固定值。

根据本公开的第二方面，提供了一种数据处理装置，该装置包括：

接收模块，用于接收已采集数据，并根据所述已采集数据的参数值计算所述已采集数据的数据摘要；

插入模块，用于在第一数据表中插入所述已采集数据的行键、时间戳和数据摘要；

查询模块，用于以所述已采集数据的数据摘要作为行键在第二数据表中查询；所述第二数据表中的行键为数据摘要，所述第二数据表包含一个用于存储计数值的计数列和至少一个用于存储所述已采集数据的参数值的参数列；

处理模块，用于若在所述第二数据表中查询到所述已采集数据的数据摘要，则将对应的行数据中的所述计数值叠加固定值。

根据本公开的第三方面，提供了一种服务器，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行上述的方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：对于接收到的相同数据，在第二数据表中不重复存储该数据，仅通过计数值来标记该数据重复的次数，从而可以节省存储空间。

并且，本公开的实施例提供的技术方案，可以通过HBase提供的协处理器机制实现，无需开发第三方应用程序。