[发明专利]数据消重方法及装置

摘要

本发明实施例提供了一种数据消重方法及装置，将待消重的第一数据转换为固定长度的第二数据；根据预设的划分比例，将第二数据划分为第一部分和第二部分；将第一部分和第二部分构成的键值对确定为与第二数据对应的键值对；查找与第二数据对应的键值对中的key对应的消重集合，如果查找到，则在查找到的消重集合中查找与第二数据对应的键值对中的value相同的元素，如果未查找到与第二数据对应的键值对中的value相同的元素，则将第二数据对应的键值对中的value作为元素放入查找到的消重集合中；如果查找到与第二数据对应的键值对中的value相同的元素，则将第一数据标识为重复数据。本发明提高了数据消重的效率。

主权项

一种数据消重方法，其特征在于，包括：将待消重的第一数据转换为固定长度的第二数据；根据预设的划分比例，将所述第二数据划分为第一部分和第二部分，其中，所述第一部分在所述第二数据中位于所述第二部分左侧且与所述第二部分相邻；将所述第一部分和第二部分构成的键值对确定为与所述第二数据对应的键值对，其中，所述第一部分用作键key，所述第二部分用作值value；查找与所述第二数据对应的键值对中的key对应的消重集合，如果查找到，则在查找到的消重集合中查找与所述第二数据对应的键值对中的value相同的元素，如果未查找到与所述第二数据对应的键值对中的value相同的元素，则将所述第二数据对应的键值对中的value作为元素放入查找到的消重集合中；如果查找到与所述第二数据对应的键值对中的value相同的元素，则将所述第一数据标识为重复数据。