[发明专利]重复数据的清洗方法及服务器

权利要求书

1.一种重复数据的清洗方法，其特征在于，应用于服务器，所述方法包括：

接收前端设备的请求数据；

根据所述请求数据计算出所述请求数据对应的验证值；

判断已存储的验证值中是否包括所述请求数据对应的验证值；其中，所述已存储的验证值为当前时刻之前的预设时长内，接收到的且未被清洗的请求数据的验证值；

若所述已存储的验证值中包括所述请求数据对应的验证值，则放弃所述请求数据。

2.根据权利要求1所述的重复数据的清洗方法，其特征在于，所述方法还包括：

若所述已存储的验证值中未包括所述请求数据对应的验证值，则存储所述请求数据对应的验证值且保留所述预设时长。

3.根据权利要求1所述的重复数据的清洗方法，其特征在于，所述根据所述请求数据计算出所述请求数据对应的验证值，具体包括：

从所述请求数据中提取N个信息项，其中，N为整数且N≥1；

按照预设规则对所述N个信息项进行排序，以生成所述验证信息；

根据所述验证信息计算出所述请求数据对应的验证值。

4.根据权利要求3所述的重复数据的清洗方法，其特征在于，所述根据所述验证信息计算出所述请求数据对应的验证值，具体为：

利用消息摘要算法计算出所述验证信息的信息摘要，以作为所述请求数据对应的验证值。

5.根据权利要求1所述的重复数据的清洗方法，其特征在于，在所述判断已存储的验证值中是否包括所述请求数据对应的验证值之前，还包括：

根据所述请求数据识别出所述请求数据的业务属性；

所述判断已存储的验证值中是否包括所述请求数据对应的验证值，具体为：判断所述业务属性对应的已存储的验证值中是否包括所述请求数据对应的验证值。

6.根据权利要求1所述的重复数据的清洗方法，其特征在于，所述判断已存储的验证值中是否包括所述请求数据对应的验证值，具体为：

访问预设数据库，并判断所述预设数据库中的所述已存储的验证值中是否包括所述请求数据对应的验证值。

7.根据权利要求1至6中任一项所述的重复数据的清洗方法，其特征在于，所述接收前端设备的请求数据，具体为：

接收由另一服务器分配至所述服务器的所述前端设备的所述请求数据。

8.根据权利要求7所述的重复数据的清洗方法，其特征在于，所述接收由另一服务器分配并发送过来的所述前端设备的所述请求数据，具体为：

接收由另一服务器基于哈希算法分配并发送过来的所述前端设备的所述请求数据。

9.一种服务器，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的重复数据的清洗方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的重复数据的清洗方法。