[发明专利]数据处理的方法、装置和服务器

说明书

本发明实施例适用于数据处理技术领域，提供了一种数据处理的方法、装置和服务器，该方法包括：对数据库中的数据记录进行分桶并设置过期时间；确定任一数据记录对应的比特位，将对应比特位的比特值置为第二数值；当接收到新数据的入库请求时，识别目标数据桶以及新数据在目标数据桶中对应的比特位，通过判断对应比特位的比特值是否为第二数值，确定是否将新数据写入目标数据桶中；若在到达过期时间之前，数据桶中未有新数据写入，则在到达过期时间时删除数据桶及其数据记录，否则，延长过期时间。本实施例通过分桶将数据的判重范围缩小，某些桶的数据因为不再活跃而逐渐过期，达到删除数据的目的，解决了数据判重时假阳率增大的问题。

技术领域

本发明属于数据处理技术领域，特别是涉及一种数据处理的方法、一种数据处理的装置、一种服务器及一种计算机可读存储介质。

背景技术

数据判重主要用于对数据中是否存在重复记录进行判断，广泛应用于各种业务场景下。例如，在用户注册账号时，通过数据判重可以确认该账号是否已被注册。

目前，对数据进行判重主要通过两种方式来实现。一种是在数据库中直接查询某条记录是否存在。例如，当用户使用“张三”这一用户名注册账号时，需要在数据库中查询是否存在相同的记录。如果数据库中已经有一条叫“张三”的记录，则新注册的用户名不允许入库，如果不存在则可以入库。这种判重方式主要用于数据量较小时。如果需要入库的数据量非常大，那么判断查询的次数将会非常多，导致数据库开销也非常大。因此，针对大数据的判重主要通过使用本地内存来实现，例如结合布隆过滤器等等。但是，由于布隆过滤器中的比特位是不允许重置的，使得布隆过滤器无法伸缩，采用这种判重方式无法删除数据。随着数据越来越多，占用的内存也会越来越多，假阳率也会逐渐增大。

发明内容

有鉴于此，本发明实施例提供了一种数据处理的方法、装置和服务器，以解决现有技术中结合布隆过滤器进行大数据的判重时，由于数据无法删除，导致占用内存较多、假阳率增大的问题。

本发明实施例的第一方面提供了一种数据处理的方法，包括：

获取数据库中已有的数据记录；

对所述数据记录进行分桶，并设置各个数据桶的过期时间，所述各个数据桶中包括多个比特位，所述多个比特位的初始比特值均为第一数值；

确定所述各个数据桶中任一数据记录对应的比特位，将所述各个数据记录对应的比特位的比特值置为第二数值；

当接收到新数据的入库请求时，识别用于写入所述新数据的目标数据桶，以及所述新数据在所述目标数据桶中对应的比特位，通过判断所述新数据对应的比特位的比特值是否为所述第二数值，确定是否将所述新数据写入所述目标数据桶中；

若在到达所述数据桶过期时间之前，所述数据桶中未有新数据写入，则在到达所述过期时间时删除所述数据桶及所述数据桶中的数据记录，否则，则延长所述数据桶的过期时间。

本发明实施例的第二方面提供了一种数据处理的装置，包括：

获取模块，用于获取数据库中已有的数据记录；

分桶模块，用于对所述数据记录进行分桶，并设置各个数据桶的过期时间，所述各个数据桶中包括多个比特位，所述多个比特位的初始比特值均为第一数值；

变更模块，用于确定所述各个数据桶中任一数据记录对应的比特位，将所述各个数据记录对应的比特位的比特值置为第二数值；

确定模块，用于当接收到新数据的入库请求时，识别用于写入所述新数据的目标数据桶，以及所述新数据在所述目标数据桶中对应的比特位，通过判断所述新数据对应的比特位的比特值是否为所述第二数值，确定是否将所述新数据写入所述目标数据桶中；