[发明专利]一种基于中间件的重复数据删除方法和相关装置

说明书

本申请涉及数据传输优化，公开了一种基于中间件的重复数据删除方法和相关装置，包括：通过所述中间件获取客户端发送的数据处理消息，其中，所述数据处理消息携带数据标识和第一数据；从数据库中获取与所述数据标识匹配的N个第二数据，以确定所述第一数据与所述N个第二数据中的每个第二数据的重复率，以得到N个重复率，其中，N为正整数；将所述N个重复率与预设重复率进行对比；若所述N个重复率中存在M个重复率超过所述预设重复率，则删除与所述M个重复率对应的M个第二数据，其中，0＜M≤N且M为整数。实施本发明实施例，无需高要求的传输带宽，不仅有利于减轻源端机器的运行负担，还提高了存储利用率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于中间件的重复数据删除方法和相关装置。

背景技术

随着新一代信息技术的高速发展，虚拟化技术发展越来越成熟。在虚拟化场景下，为确保防止系统出现操作失误或系统故障导致数据丢失，会使用内存的虚拟化技术对数据进行备份，一般包含完全备份和增量备份，因此会产生大量重复的数据，而这些重复的数据会占用大量硬盘空间，导致存储利用率低和存储成本高。为提高存储利用率和降低存储成本，人们提出了重复数据删除的技术，以节约数据存储空间。

目前，在大部分存储系统中，一般都选择源端重删或者目标端重删。其中，源端指的是数据的发送方，源端重复数据删除就是指在数据经过网络进行传输之前，就对数据进行重复数据删除处理，然而在源端重删，可能导致源端机器运行负担重。目标端指的是数据的接收方，目标端重复数据删除就是指在数据到达目标服务器后，再进行重复数据删除，但在目标端进行重复数据删除，对传输带宽要求高。

发明内容

本发明实施例提供了一种基于中间件的重复数据删除方法和相关装置，实施本发明实施例，无需高要求的传输带宽，不仅有利于减轻源端机器运行负担，还提高了存储利用率。

本发明实施例第一方面提供了一种基于中间件的重复数据删除方法，包括：

通过所述中间件获取客户端发送的数据处理消息，其中，所述数据处理消息携带数据标识和第一数据；

从数据库中获取与所述数据标识匹配的N个第二数据，以确定所述第一数据与所述N个第二数据中的每个第二数据的重复率，以得到N个重复率，其中，N为正整数；

将所述N个重复率与预设重复率进行对比；

若所述N个重复率中存在M个重复率超过所述预设重复率，则删除与所述M个重复率对应的M个第二数据，其中，0＜M≤N且M为整数。

本发明实施例第二方面提供了一种基于中间件的重复数据删除装置，包括：

获取模块，用于通过所述中间件获取客户端发送的数据处理消息，其中，所述数据处理消息携带数据标识和第一数据；

确定模块，用于从数据库中获取与所述数据标识匹配的N个第二数据，以确定所述第一数据与所述N个第二数据中的每个第二数据的重复率，以得到N个重复率，其中，N为正整数；

对比模块，用于将所述N个重复率与预设重复率进行对比；

删除模块，用于若所述N个重复率中存在M个重复率超过所述预设重复率，则删除与所述M个重复率对应的M个第二数据，其中，0＜M≤N且M为整数。

可以看出，上述技术方案中，服务端通过所述中间件获取客户端发送的数据处理消息，无需高要求的传输带宽，便从客户端获取了数据标识和第一数据，接着，服务端从数据库中获取与数据标识匹配的N个第二数据，以确定第一数据与N个第二数据中的每个第二数据的重复率，以得到N个重复率，然后，服务端将N个重复率与预设重复率进行对比，若N个重复率中存在M个重复率超过预设重复率，则删除与M个重复率对应的M个第二数据，从而实现在目标端对重复数据的删除，减轻了源端机器的运行负担，提高了存储利用率。

附图说明