[发明专利]一种用于信息检索的任意大小n-gram频率统计方法及其装置

权利要求书

1.一种用于信息检索的任意大小n-gram频率统计方法及其装置，其特征在于，包括：

文本预处理单元：对于给定的文本和字符串，对其进行2-gram切分和编码；

索引单元：将所得2-gram在文本中的位置信息保存到二级变长索引中，以保证对2-gram高效率的存储和检索；

n-gram频率计算单元：在0(1)的时间效率内检索2-gram在给定文本和字符串中的位置信息，计算得到任意长度n-gram统计信息。

2.如权利要求1中所述文本预处理单元，其特征在于，所有属于GB2312-80字符集的汉字根据其内码利用hash函数映射到从0开始的连续整数空间中；

3.如权利要求1中所述文本预处理单元，其特征在于，所有2-gram的位置编码包含了其所在的文件名、文件中的行、列信息，为唯一编码。

4.如权利要求1中所述的索引单元，其特征在于，二级变长索引结构中，每一级索引结构分别对应2-gram中的前后两个汉字；

5.如权利要求1中所述的索引单元，其特征在于，二级变长索引结构中每一级索引结构的长度都是根据当前所处理过的给定文献或字符串中所包含汉字不同而改变的，其当前最大长度取决于对应的2-gram中相应汉字编码对应的最大映射值；

6.如权利要求1中所述索引单元，其特征在于，每一级索引结构中的每个入口位置所对应的逻辑地址都唯一对应了一个GB2312-80字符集中的一个汉字编码，根据汉字编码可以在0(1)的时间效率内定位到对应的位置；

7.如权利要求1中所述n-gram频率计算单元，其特征在于，对于N取任意值(N≠2)，可通过求并集(N＝1)和交集(N＞2)获取对应的地址列表。对于N＝2，则可直接获取其地址列表。

8.如权利要求7中所述装置，其特征在于，所有直接获取的位置值列表，其位置值都是升序排列的。

9.如权利要求7中所述装置，其特征在于，交集运算充分利用了位置值升序排列的特性。

10.一种N-gram频率计算装置，其特征在于，包括：文本预处理模块、索引生成模块、频率计算模块，其中：

文本预处理模块，切分给定的文本和字符串，得到2-gram，将2-gram中的两个汉字汉字(GB2312-80)分别映射到从0开始的连续整数空间；

索引生成模块，将得到的2-gram位置值信息保存到二级变长索引中；

频率计算模块，根据不同的n值，用不同的方法计算得到其位置值列表，获取频率。