[发明专利]一种数据去重的方法和设备

权利要求书

1.一种数据去重的方法，其特征在于，所述方法应用于包括多个下游数据处理设备的系统中，所述方法包括：

中间设备获取所接收到的数据中携带的唯一标识；

所述中间设备根据预设的对应关系和所述数据中的所述唯一标识，确定所述数据将要被发送到的下游数据处理设备；

所述中间设备将所述数据发送到所述下游数据处理设备，以使所述下游数据处理设备对相同数据进行数据去重。

2.如权利要求1所述方法，其特征在于，相同来源的数据所携带的唯一标识至少部分相同。

3.如权利要求1所述方法，其特征在于，所述中间设备获取所述数据中携带的唯一标识，具体包括：

所述中间设备解析所述数据；

所述中间设备判断解析后的所述数据内容是否为空；

如果为空，所述中间设备删除所述数据；

如果不为空，所述中间设备获取所述数据中携带的唯一标识。

4.一种中间设备，其特征在于，所述中间设备应用于包括多个下游数据处理设备的系统中，所述中间设备包括：

获取模块，用于获取所接收到的数据中携带的唯一标识；

确定模块，用于根据预设的对应关系和所述数据中的所述唯一标识，确定所述数据将要被发送到的下游数据处理设备；

发送模块，用于将所述数据发送到所述下游数据处理设备，以使所述下游数据处理设备对相同数据进行数据去重。

5.如权利要求4所述中间设备，其特征在于，相同来源的数据所携带的唯一标识至少部分相同。

6.如权利要求4所述中间设备，其特征在于，所述获取模块，具体用于：

解析所述数据；

判断解析后的所述数据内容是否为空；

如果为空，删除所述数据；

如果不为空，获取所述数据中携带的唯一标识。

7.一种数据去重的方法，其特征在于，所述方法应用于包括多个下游数据处理设备的系统中，所述系统中还包括：中间设备，所述方法包括：

下游数据处理设备接收所述中间设备发送的数据，所述数据是根据预设的对应关系和所述数据中的携带的唯一标识发送的；

所述下游数据处理设备判断是否存在与所述数据相同的数据；

如果存在，所述下游数据处理设备对所述数据进行数据去重。

8.如权利要求7所述方法，其特征在于，相同来源的数据所携带的唯一标识至少部分相同。

9.如权利要求7所述方法，其特征在于，所述下游数据处理设备判断是否存在与所述数据相同的数据，具体包括：

所述下游数据处理设备确定出与所述数据属于同一去重周期内获取到的数据；

所述下游数据处理设备在确定出的与所述数据属于同一去重周期内获取到的数据中判断是否存在与所述数据的所述唯一标识具有部分相同的数据；

所述下游数据处理设备对所述数据进行数据去重，具体包括：

所述下游数据处理设备将与所述唯一标识具有部分相同的数据进行合并，以使所述唯一标识具有部分相同的数据只保留一个。

10.一种下游数据处理设备，其特征在于，应用于包括多个下游数据处理设备和中间设备的系统中，所述系统中还包括：中间设备，所述下游数据处理设备包括：

接收模块，用于接收所述中间设备发送的数据，所述数据是根据预设的对应关系和所述数据中的携带的唯一标识发送的；

判断模块，用于判断是否存在与所述数据相同的数据；

去重模块，如果存在与所述数据相同的数据，用于对所述数据进行数据去重。

11.如权利要求10所述下游数据处理设备，其特征在于，相同来源的数据所携带的唯一标识至少部分相同。

12.如权利要求10所述下游数据处理设备，其特征在于，所述判断模块，具体用于：

确定出与所述数据属于同一去重周期内获取到的数据；

在确定出的与所述数据属于同一去重周期内获取到的数据中判断是否存在与所述数据的所述唯一标识具有部分相同的数据；

所述去重模块，具体用于：

将与所述唯一标识具有部分相同的数据进行合并，以使所述唯一标识具有部分相同的数据只保留一个。