[发明专利]一种用于信息检索的任意大小n-gram频率统计方法及其装置

摘要

本发明公开了一种用于文本检索的任意大小n-gram频率统计方法及其装置，包括：文本预处理单元，将给定的文本和字符串进行2-gram切分和编码；变长二级索引结构，通过遍历文本将所出现的2-gram位置信息进行编码保存至二级变长索引中；任意n-gram频率统计单元，通过对二级索引的检索，得到相关2-gram的位置值集合，通过对有序位置值集合的并集或交集运算，实现对任意n-gram位置信息的计算和频率统计。使用本发明实施例的方法或装置可以用较小的时间、空间代价高效地实现对任意n-gram位置信息的计算和频率统计。从而解决了现有n-gram统计方法中，不能对任意n-gram进行统计以及效率较低的问题。

主权项

一种用于信息检索的任意大小n‑gram频率统计方法及其装置，其特征在于，包括：文本预处理单元：对于给定的文本和字符串，对其进行2‑gram切分和编码；索引单元：将所得2‑gram在文本中的位置信息保存到二级变长索引中，以保证对2‑gram高效率的存储和检索；n‑gram频率计算单元：在0(1)的时间效率内检索2‑gram在给定文本和字符串中的位置信息，计算得到任意长度n‑gram统计信息。