[发明专利]数据排重方法及系统

摘要

本申请提供了数据排重方法及系统。该方法包括：将待处理的数据集分配到多台服务器，其中，每台服务器被分配数据集中的多个子集，每个子集中的每个数据均包括具有相同属性的第一数据元；每台服务器至少针对分配给该服务器的全部子集中的第一数据元取交集，以形成预排重数据集；以及至少针对多台服务器形成的全部预排重数据集中的第一数据元取交集，以得到排重数据集。在本申请中还给出了数据排重系统的示例架构，并给出了这样的数据排重方法和系统的具体用例。本申请的技术方案大大减轻了每台服务器的工作负载、节省了数据排重时间，有效地提高了数据排重的效率和精度、提高了系统响应速度。

主权项

1.一种数据排重方法，包括：将待处理的数据集分配到多台服务器，其中，每台服务器被分配所述数据集中的多个子集，每个子集中的每个数据均包括具有相同属性的第一数据元；其中，每个子集对应于多个网格式的地理区域中的不同地理区域内的用户信息，所述用户信息包括用户位置信息及所述用户出现在所述位置的时间信息；将待处理的数据集分配到多台服务器包括：将与所述多个网格式的地理区域中的相邻地理区域对应的子集分配给所述多台服务器中的不同服务器；每台服务器至少针对分配给该服务器的全部子集中的第一数据元取交集，以形成预排重数据集；以及至少针对所述多台服务器形成的全部预排重数据集中的第一数据元取交集，以得到排重数据集；根据所述排重数据集确定在一定距离范围内、指定时间单元内的净用户数，根据所述净用户数规划信息投放时间段和地域范围。