[发明专利]一种基于流水线的数据匹配方法和装置

权利要求书

1.一种基于流水线的数据匹配方法，其特征在于，包括：

随着匹配单元对文件进行匹配压缩操作，字典存储器将相应地循环从参与匹配压缩原始源文件中读入并更新内容，直至整个文件匹配压缩完毕，其中，字典存储器是一组随机存储器，存储着将要被匹配压缩的文件；

哈希单元计算当前处理字符段的哈希值，其中，所述当前处理字符段指当前处理的1个字节的（Byte）的字符及随后的2个字节（Byte）的字符，共3个字节（Byte）的字符；并以此哈希值为地址，将当前处理字符在字典存储器中的位置信息为内容，存储到的链头存储器中；根据上述地址中链头随机存储器中内容的情况，对链头存储器、回溯存储器和相关链头匹配先入先出存储器进行维护；

匹配比较单元从链头匹配先入先出存储器和回溯存储器中顺序取得可能匹配的字符串索引，并依次使用改进匹配比较方法取值比较，同时维护回溯存储器，直至匹配比较结束。

2.根据权利要求1所述的方法，其特征在于，字典存储器是一组多块32千字节（32KB：8byte*4K或4Byte*8K）的块随机存储器（block RAM），参与匹配压缩原始源文件被顺序存储在字典存储器中，并且根据匹配压缩情况更新，每组字典存储器可由多块（至少为3块）随机存储器组成；

参与匹配压缩原始源文件被顺序存储在字典存储器中，随着匹配压缩的进行，当某一块字典存储器中的内容完全脱离被匹配比较范围（32768，32K）时，其中的数据将被清空，随后填入新的后续的参与压缩匹配的数据，一组多块字典存储器轮流更新，直至匹配压缩完成。

3.根据权利要求2所述的方法，其特征在于，所述哈希单元提供地址将所述当前处理字符在字典存储器中的位置信息存储在所述链头存储器中包括：

哈希单元使用改进哈希算法计算当前处理字符段的哈希值，使用3字节（3Byte：24bit）长的字符串计算得到16位（bit））长的哈希值，可有效避免哈希值临近连续位的伪匹配；

以上述哈希值为地址，将当前处理字符在字典存储器中的位置信息存入链头存储器；如果在所述链头存储器中，已经存储以所述哈希值为地址的旧位置信息，则使用新位置信息替代所述旧位置信息。

4.根据权利要求3所述的方法，其特征在于，所述匹配比较单元获取所述链头存储器中的字符索引之前，所述方法还包括：

所述哈希单元在使用新位置信息替代所述旧位置信息时，将所述新位置信息和所述旧位置信息拼接后，放入链头匹配先入先出存储器中；所述匹配比较单元在匹配比较开始时，从链头匹配先入先出存储器中取出所述新位置信息和所述旧位置信息拼接后的数据；

计算旧位置信息和新位置信息间距离，若该距离已经大于匹配比较范围（32768，32K），则只使用新位置信息替代所述旧位置信息，不放入链头匹配先入先出存储器中。

5.根据权利要求4所述的方法，其特征在于，所述哈希单元在使用新位置信息替代所述旧位置信息时，将所述新位置信息和所述旧位置信息拼接后，放入链头匹配先入先出存储器中之后，所述方法还包括：以新位置信息为索引地址，将旧位置信息存入到回溯存储器中，当与回溯存储器对应的某块字典存储中的内容完全脱离被匹配比较范围时，该回溯存储器中的数据将被清空。

6.根据权利要求5所述的方法，其特征在于，所述匹配比较单元根据所述链头匹配先入先出存储器和回溯存储器中的数据进行匹配包括：所述匹配比较单元，从链头匹配先入先出存储器中读取出与链头可能匹配的地址对，并在使用改进比较方法进行匹配比较：通过从字典存储器取值、拼接，使每次匹配比较8个字节，匹配比较后输出匹配失败或匹配成功字节数；若匹配成功字节数为8，则继续匹配后8个字节，直至得到最长匹配长度为止。

7.根据权利要求6所述的方法，其特征在于，所述改进匹配比较方法从链头匹配先入先出存储器中取得链头可能匹配对的地址对，并在使用改进比较方法进行匹配比较，同时以链头可能匹配对的后半部分为地址，在回溯存储器中取值；再以该值为地址在回溯存储器中取值，如此循环得上回溯存储器中所有可能匹配的地址；取值的同时使用改进比较方法进行匹配比较；所有匹配结束后，输出未匹配成功或匹配长度最优的匹配结果。