[发明专利]一种数据去重的方法和设备

说明书

技术领域

本发明涉及网络技术领域，尤其涉及一种数据去重的方法和设备。

背景技术

一个用户在进行网络活动时会产生大量的数据，而产生的大量数据有很多是重复的数据，例如：用户为了保证自己发送的数据可以被服务器接收到，用户会发送多条所述数据，此时用户发送的多条所述数据就是重复数据，当重复数据较多时不仅会占据服务器大量的存储空间，也会占据服务器中过多的计算资源，由于服务器会进行过多的重复计算，致使服务器计算效率低下。

在现有技术中针对上述问题提出了一种数据去重方案：通过分析用户产生重复数据的规律，确定出去重周期，下游数据处理设备根据去重周期对接收到的数据进行去重。

在实现本发明的过程中，发明人发现现有技术至少存在如下问题：

在用户发送数据时，同一用户设备发送的多个数据可能发送到不同的下游数据处理设备中，而下游数据处理设备在对数据进行去重时只能对自身中的数据进行去重，现有技术虽然可以有效的对单个下游数据处理设备中的重复数据去重，但是当同一用户设备将多个重复数据发送到不同的下游数据处理设备中时，下游数据处理设备集群不能对所述多个重复数据进行有效去重。

发明内容

有鉴于此，本发明实施例提供的一种数据去重的方法和设备，用以解决现有技术中下游数据处理设备集群不能对同一用户设备发送给不同下游数据处理设备的多个重复数据进行有效去重。

本发明提供一种数据去重的方法，所述方法应用于包括多个下游数据处理设备的系统中，所述方法包括：

中间设备获取所接收到的数据中携带的唯一标识；

所述中间设备根据预设的对应关系和所述数据中的所述唯一标识，确定 所述数据将要被发送到的下游数据处理设备；

所述中间设备将所述数据发送到所述下游数据处理设备，以使所述下游数据处理设备对相同数据进行数据去重。

相同来源的数据所携带的唯一标识至少部分相同。

所述中间设备获取所述数据中携带的唯一标识，具体包括：

所述中间设备解析所述数据；

所述中间设备判断解析后的所述数据内容是否为空；

如果为空，所述中间设备删除所述数据；

如果不为空，所述中间设备获取所述数据中携带的唯一标识。

一种中间设备，所述中间设备应用于包括多个下游数据处理设备的系统中，所述中间设备包括：

获取模块，用于获取所接收到的数据中携带的唯一标识；

确定模块，用于根据预设的对应关系和所述数据中的所述唯一标识，确定所述数据将要被发送到的下游数据处理设备；

发送模块，用于将所述数据发送到所述下游数据处理设备，以使所述下游数据处理设备对相同数据进行数据去重。

相同来源的数据所携带的唯一标识至少部分相同。

所述获取模块，具体用于：

解析所述数据；

判断解析后的所述数据内容是否为空；

如果为空，删除所述数据；

如果不为空，获取所述数据中携带的唯一标识。

一种数据去重的方法，所述方法应用于包括多个下游数据处理设备的系统中，所述系统中还包括：中间设备，所述方法包括：

下游数据处理设备接收所述中间设备发送的数据，所述数据是根据预设的对应关系和所述数据中的携带的唯一标识发送的；

所述下游数据处理设备判断是否存在与所述数据相同的数据；

如果存在，所述下游数据处理设备对所述数据进行数据去重。

相同来源的数据所携带的唯一标识至少部分相同。

所述下游数据处理设备判断是否存在与所述数据相同的数据，具体包括：

所述下游数据处理设备确定出与所述数据属于同一去重周期内获取到的数据；

所述下游数据处理设备在确定出的与所述数据属于同一去重周期内获取到的数据中判断是否存在与所述数据的所述唯一标识具有部分相同的数据；

所述下游数据处理设备对所述数据进行数据去重，具体包括：

所述下游数据处理设备将与所述唯一标识具有部分相同的数据进行合并，以使所述唯一标识具有部分相同的数据只保留一个。

一种下游数据处理设备，应用于包括多个下游数据处理设备和中间设备的系统中，所述系统中还包括：中间设备，所述下游数据处理设备包括：

接收模块，用于接收所述中间设备发送的数据，所述数据是根据预设的对应关系和所述数据中的携带的唯一标识发送的；

判断模块，用于判断是否存在与所述数据相同的数据；