[发明专利]一种重复数据删除方法、装置及系统

摘要

本发明适用于数据库技术领域，提供了一种重复数据删除方法、装置及系统，包括内存数据库在缓存区中，缓存待写入外部存储器的数据页；在将缓存中的数据页写入所述外部存储器时，调取所述数据页；根据SHA安全散列算法，对调取到的所述数据页中的数据进行压缩映射，生成所述数据页对应的指纹值；在预置的指纹索引表中，查找是否存在所述指纹值；若在预置的指纹索引表中存在所述指纹值时，判断所述数据页为冗余页，不将所述数据页写入所述外部存储器中的数据文件，将所述数据页对应的指纹值写入所述外部存储器中的备份信息文件。本发有益效果在于两方面，一方面，节省了外部存储器的存储空间；另一方面，提高了内存数据库备份当前数据的效率。

主权项

一种重复数据删除方法，其特征在于，包括：内存数据库在缓存区中，缓存待写入外部存储器的数据页；在将缓存中的数据页写入所述外部存储器时，调取所述数据页；根据SHA安全散列算法，对调取到的所述数据页中的数据进行压缩映射，生成所述数据页对应的指纹值；在预置的指纹索引表中，查找是否存在所述指纹值；若在预置的指纹索引表中存在所述指纹值时，判断所述数据页为冗余页，不将所述数据页写入所述外部存储器中的数据文件，将所述数据页对应的指纹值写入所述外部存储器中的备份信息文件；其中，所述数据文件中保存了所述内存数据库的数据页；其中，所述备份信息文件中保存了本次备份所述数据页对应的指纹值；其中，所述指纹值在所述备份信息文件中，按照所述数据页在写入外部存储器时的顺序排列；其中，所述指纹索引表中包括已写入所述数据文件的数据页对应的指纹值，以及已写入所述数据文件的数据页对应的指纹值，在所述数据文件中的数据页偏移量；其中，在预置的指纹索引表中，查找是否存在待写入外部存储器的数据页的指纹值，以判断待写入外部存储器的数据页是否与已写入数据文件的数据页重复。