[发明专利]一种数据去重处理方法、装置、设备、集群及存储介质

权利要求书

1.一种数据去重处理方法，其特征在于，所述方法应用于集群中的主节点，所述方法包括：

获取数据查询请求，所述数据查询请求中包括查询数据表、分组字段名，以及去重字段名；

将所述查询数据表中的数据分配给至少两个数据节点进行分组去重处理，并获取所述至少两个数据节点形成的去重结果；

其中，数据节点用于将分配的数据，按照分组字段名以及去重字段名的字段值存储于多个数据分组表中，为数据分组表中的数据添加行标识，并根据所述分组字段名以及所述行标识对数据分组表中的数据进行分组去重，形成去重结果；其中，不同的数据节点执行不同数据分组表的行标识添加操作；

所述将分配的数据按照分组字段名以及去重字段名的字段值存储于多个数据分组表中，包括：

将分配的数据中，分组字段名以及去重查询字段名的字段值均相等的数据存储到同一数据分组表中。

2.根据权利要求1所述的方法，其特征在于，将所述查询数据表中的数据分配给至少两个数据节点进行分组去重处理，包括：

根据所述数据节点的数量将查询数据表中的数据进行划分，并将划分的数据分别分配给各数据节点，以使所述各数据节点根据分配的数据进行分组去重处理。

3.一种数据去重处理方法，其特征在于，所述方法应用于集群中的数据节点集合，所述数据节点集合包括至少两个数据节点，所述方法包括：

获取主节点分配的数据，其中，所述分配的数据为所述主节点根据数据查询请求中包括的查询数据表分配的数据，所述数据查询请求中包括查询数据表、分组字段名，以及去重字段名；

将分配的数据按照所述分组字段名以及所述去重字段名的字段值存储于多个数据分组表中；

对所述数据分组表中的数据添加行标识；其中，不同的数据节点执行不同数据分组表的行标识添加操作；

根据分组字段名以及所述行标识对数据分组表中的数据进行分组去重，形成去重结果反馈给所述主节点；

所述将分配的数据按照分组字段名以及去重字段名的字段值存储于多个数据分组表中，包括：

将分配的数据中，分组字段名以及去重查询字段名的字段值均相等的数据存储到同一数据分组表中。

4.根据权利要求3所述的方法，其特征在于，根据分组字段名以及行标识对数据分组表中的数据进行分组去重，形成去重结果反馈给所述主节点，包括：

将所述数据分组表中的数据以及所述行标识存储到同一目标数据表中；将所述目标数据表中的数据按照分组字段名的字段值存储于多个数据汇总表中；其中，同一数据汇总表中的数据对应的分组字段名的字段值相等；

分别在每个所述数据汇总表中筛选行标识为1的数据，以在每个所述数据汇总分组表中得到去重后的数据；

统计每个所述数据汇总表中去重后的数据的数量，作为与所述查询请求对应的数量，并反馈给所述主节点；其中，不同的数据节点执行不同的数据汇总表的去重操作。

5.一种数据去重处理方法，其特征在于，所述方法应用于集群中，所述集群包括主节点和数据节点集合，所述数据节点集合中包括至少两个数据节点，所述方法包括：

主节点获取数据查询请求，所述数据查询请求中包括查询数据表、分组字段名，以及去重字段名；

所述主节点将所述查询数据表中的数据分配给数据节点集合；

所述数据节点集合获取主节点分配的数据；

所述数据节点集合将分配的数据按照分组字段名以及去重字段名的字段值存储于多个数据分组表中；

所述数据节点集合对数据分组表中的数据添加行标识；其中，不同的数据节点执行不同数据分组表的行标识添加操作；

所述数据节点集合根据分组字段名以及行标识对具有行标识的数据分组表中的数据进行分组去重，形成去重结果反馈给所述主节点；

所述将分配的数据按照分组字段名以及去重字段名的字段值存储于多个数据分组表中，包括：

将分配的数据中，分组字段名以及去重查询字段名的字段值均相等的数据存储到同一数据分组表中。