[发明专利]一种基于中间件的重复数据删除方法和相关装置

权利要求书

1.一种基于中间件的重复数据删除方法，其特征在于，包括：

通过所述中间件获取客户端发送的数据处理消息，其中，所述数据处理消息携带数据标识和第一数据；

从数据库中获取与所述数据标识匹配的N个第二数据，以确定所述第一数据与所述N个第二数据中的每个第二数据的重复率，以得到N个重复率，其中，N为正整数；

将所述N个重复率与预设重复率进行对比；

若所述N个重复率中存在M个重复率超过所述预设重复率，则删除与所述M个重复率对应的M个第二数据，其中，0＜M≤N且M为整数；

所述第一数据包括第一文档数据，所述数据标识包括文档数据标识，所述从数据库中获取与所述数据标识匹配的N个第二数据，以确定所述第一数据与所述N个第二数据中的每个第二数据的重复率，以得到N个重复率，包括：

S1：若数据删除进程未处于忙碌状态，从所述数据库中获取与所述文档数据标识匹配的N个第二文档数据；

S2：解析所述第一文档数据，以得到所述第一文档数据中的Q个关键字段，其中，Q为正整数；

S3：将m设置为初始值为1的整数；

S4：检测m是否小于或等于N，若是，则执行步骤S5，若否，则执行步骤S9；

S5：对所述N个第二文档数据中的第m个第二文档数据进行解析, 以得到所述第m个第二文档数据的J个关键字段，其中，J为正整数；

S6：将n设置为初始值为1的整数；

S7：检测n是否小于或等于Q，若是，则执行步骤S8，若否，则执行步骤S11；

S8: 确定所述Q个关键字段中的第n个关键字段与所述J个关键字段中的每个关键字段的重复率，以得到J个重复率；

S9：确定所述J个重复率中的每个重复率与J个重复权重的值，以得到所述第n个关键字段的重复率，其中，所述J个重复权重之和为1；

S10：将（n+1）赋值给n，返回执行步骤S7；

S11：计算所述第n个关键字段的重复率至第（n+Q-1）个关键字段的重复率的均值，以确定所述第一文档数据与所述第m个第二文档数据的重复率，进而得到所述N个重复率中的第m个重复率；

S12：将（m+1）赋值给m，返回执行步骤S4；

S13：结束确定所述第一文档数据与所述N个第二文档数据中的每个第二文档数据的重复率；

还包括：

若所述N个重复率中未存在所述M个重复率超过所述预设重复率，则根据第一数据标识确定所述第一数据的访问频率；

将所述访问频率与预设访问频率进行对比；

在所述访问频率超过所述预设访问频率时，则从所述数据库中选取与所述访问频率匹配的第二数据表存储所述第一数据。

2.根据权利要求1所述的方法，其特征在于，所述数据处理消息携带第一校验码，在所述从数据库中获取与所述数据标识匹配的N个第二数据，以确定所述第一数据与所述N个第二数据中的每个第二数据的重复率，以得到N个重复率之前，包括：

对所述第一数据调用校验接口以生成第二校验码；

将所述第一校验码与所述第二校验码进行对比；

在所述第一校验码与所述第二校验码相同时，监测数据删除进程是否处于忙碌状态；

若所述数据删除进程处于忙碌状态，则将所述第一数据放入排队队列。

3.根据权利要求1所述的方法，其特征在于，所述数据处理消息携带第一数据标识，在所述若所述N个重复率中存在M个重复率超过所述预设重复率，则删除与所述M个重复率对应的M个第二数据之后，包括：

根据所述第一数据标识，标记所述第一数据的数据种类；

从所述数据库中选取与所述数据种类匹配的第一数据表存储所述第一数据。