[发明专利]大型文档语料库中的令牌匹配

权利要求书

1.一种方法，包括：

由服务器接收包括多个实体的字典，其中每个实体具有在1个令牌与n个令牌之间的长度；

由所述服务器自动构建包括n个布隆过滤器(BF)对的概率性数据表示模型，其中每个BF对从1到n被索引；

由所述服务器利用所述多个实体的数据表示来自动填充所述概率性数据表示模型；

由所述服务器接收被分割成令牌的文本语料库；以及

由所述服务器将所述文本语料库中的每个令牌与所填充的所述概率性数据表示模型自动匹配。

2.根据权利要求1所述的方法，其中关于被索引为i的每个BF对，利用来自具有至少i+1个令牌的所述多个实体的前i个令牌来填充所述BF对中的第一BF，并且利用来自具有恰好i个令牌的所述多个实体的所有实体来填充所述BF对中的第二BF。

3.根据权利要求1所述的方法，其中所述匹配还包括：

以从1到n的所述索引的顺序，循序地查询每个BF对，以确定匹配。

4.根据权利要求1所述的方法，其中每个BF对具有指定数目的散列函数，每个指定数目等于为了使错误概率最小化而计算出的最佳数目。

5.根据权利要求1所述的方法，其中每个BF对具有指定数目的散列函数，每个指定数目小于为了使错误概率最小化而计算出的最佳数目。

6.根据权利要求1所述的方法，其中每个BF对具有指定数目的散列函数，每个指定数目小于为了使错误概率最小化而计算出的最佳数目，所述指定数目还随着对所述BF对的所述索引增大而减小。

7.一种计算设备，包括：

存储器，包含机器可读介质，所述机器可读介质包括机器可执行代码，在所述机器可读介质上存储有用于执行令牌匹配的方法的指令；

处理器，被耦合到所述存储器，所述处理器被配置为执行所述机器可执行代码，以使所述处理器：

接收包括多个实体的字典，其中每个实体具有在1个令牌与n个令牌之间的长度；

自动构建包括n个布隆过滤器(BF)对的概率性数据表示模型，其中每个BF对从1到n被索引；

利用所述多个实体的数据表示来自动填充所述概率性数据表示模型；

接收被分割成令牌的文本语料库；以及

将所述文本语料库中的每个令牌与所填充的所述概率性数据表示模型自动匹配。

8.根据权利要求7所述的系统，其中关于被索引为i的每个BF对，利用来自具有至少i+1个令牌的所述多个实体的前i个令牌来填充所述BF对中的第一BF，并且利用来自具有恰好i个令牌的所述多个实体的所有实体来填充所述BF对中的第二BF。

9.根据权利要求7所述的系统，所述机器可执行代码还使所述处理器：

以从1到n的所述索引的顺序，循序地查询每个BF对，以确定匹配。

10.根据权利要求7所述的系统，其中每个BF对具有指定数目的散列函数，每个指定数目等于为了使错误概率最小化而计算出的最佳数目。

11.根据权利要求7所述的系统，其中每个BF对具有指定数目的散列函数，每个指定数目小于为了使错误概率最小化而计算出的最佳数目。

12.根据权利要求7所述的系统，其中每个BF对具有指定数目的散列函数，每个指定数目小于为了使错误概率最小化而计算出的最佳数目，所述指定数目还随着对所述BF对的所述索引增大而减小。