[发明专利]一种基于前端重复数据删除的方法

摘要

本发明一种基于前端重复数据删除的方法,属于计算机数据安全处理领域。本发明的目的是为了实现业务上基于前端数据重复删除的技术。文件的重删是基于一定算法实现，比如MD5算法、Sha算法、hash算法，进行文件哈希值计算，对重复的数据只记录一份，其他的重复数据保留一个地址引用。块存储重删一般采用定长重删或变长重删技术，定长重删就是把写入的数据按照固定长度进行切片，切片后进行hash计算，然后进行写入处理，非重复数据就单独写入，重复数据就写入引用即可。反之变长也类似，但变长重删对性能和算法要求都比较高，对CPU内存消耗较大，影响了数据的实时处理效率。