[发明专利]一种基于重复数据删除架构的倒排索引表示方法及系统

摘要

一种基于重复数据删除架构的倒排索引表示方法及系统，适用于搜索引擎和社区网络数据处理。包括：1.遍历倒排索引中的倒排列表，识别并记录不同倒排列表间重复出现的序列模式。2.计算所述各序列模式的长度，并根据长短进行相应操作。依据序列模式的字典序，为所述各序列模式分配模式序号。3.根据所述序列模式对倒排索引进行归约，分别存储序列模式和归约后的倒排列表。4.差值处理：对序列模式中相邻文档序号进行差值计算。模式序号被表示为二元组，记录模式序号和相邻模式序号的位置偏移量。本发明能有效删除倒排索引中的重复数据，减少文档序号数目，提高倒排索引的压缩率，同时缩短搜索引擎的查询响应时间，提高用户体验。

主权项

1.一种基于重复数据删除架构的倒排索引表示方法，其特征在于，包括：步骤1，遍历倒排索引中的每条倒排列表，识别并记录不同倒排列表之间重复出现的序列模式；步骤2，计算步骤1中识别的重复序列模式的模式长度，根据模式长度进行相应操作：当模式长度小于阈值k时，删除该模式，当模式长度大于等于阈值k时，保留该模式；之后根据所述各序列模式的字典序，为所述各序列模式分配模式序号；步骤3，根据步骤2得到的序列模式，对倒排索引进行归约，之后分别存储序列模式和归约后的倒排列表，为每个序列模式保留其模式长度和模式序号；步骤4.进行差值处理：对于序列模式内容中的相邻文档序号进行差值计算；当前一个元素为文档序号时，对于归约后的每个倒排列表中的文档序号，除第一个元素保存原始值外，剩余元素均减去前一个相邻元素的原始值；当前一个元素为模式序号时，减去前一个相邻序列模式的最大元素；对于倒排列表中的模式序号，除第一个元素保存原始值外，剩余元素均减去与之最近的前一个模式序号原始值；每个模式序号表示为二元组，包括模式序号或模式序号差值和下一个模式序号的位置偏移量，同时每个倒排列表的最前段记录列表中第一个模式序号的位置偏移量，得到新的倒排索引；其中所述序列模式是不同倒排列表间重复出现的文档序列，所述模式长度为所述序列模式中的文档序号个数。