[发明专利]一种分布式搜索引擎系统及ID映射表扩充方法

权利要求书

1.一种分布式搜索引擎系统，包括：至少一文本切分子系统，其中，每个文本切分子系统包括：切分模块(10)、ID映射模块(20)及ID映射表存储模块(30)，切分模块(10)接收从互联网抓取的源文本，并从源文本中提取出切分单元，传送至ID映射模块(20)，ID映射模块(20)查找ID映射表存储模块(30)中的ID映射表中与切分单元对应的文本ID，并将其填入切分单元信息中，其特征在于，所述文本切分子系统还包括：

新词统计表存储模块(40)，用于保存由ID映射模块查找ID映射表存储模块中的ID映射表时未在ID映射表中查找到的新切分单元及其出现的次数值构成的新词统计表；

以及，切分子系统收发模块(50)：用于从新词统计表存储模块中获取新词统计表，并在ID映射表存储模块中的ID映射表中建立新切分单元与文本ID的映射关系，清除新词统计表存储模块中的新词统计表中已在ID映射表中建立文本ID映射关系的切分单元及其出现次数值；

所述ID映射模块(20)，进一步用于向新词统计表存储模块中的新词统计表中统计在ID映射表中未查找到的切分单元及其出现的次数值。

2.根据权利要求1所述的系统，其特征在于：所述切分子系统收发模块(50)进一步包括：定时单元，用于计时，当定时计数值到达预设值，从新词统计表存储模块中获取新词统计表。

3.根据权利要求1所述的系统，其特征在于：所述切分子系统收发模块(50)进一步包括比较单元，用于从新词统计表存储模块中获取新词统计表中保存的切分单元的出现次数值，并与门限值进行比较，将出现次数值超出门限值的切分单元从新词统计表中取出。

4.根据权利要求1所述的系统，其特征在于还进一步包括一个ID映射表管理子系统(100)，用于从各个切分子系统收发模块获取所述每个文本切分子系统中的新词统计表，并进行汇总统计产生新词统计汇总表，为新词统计汇总表中每个新切分单元分配唯一文本ID并产生ID映射扩展表，将其发送至所有文本切分子系统中的切分子系统收发模块(50)，由各个切分子系统收发模块(50)将ID映射扩展表发送至ID映射表存储模块(30)对ID映射表进行扩展更新。

5.根据权利要求4所述的系统，其特征在于：所述ID映射表管理子系统(100)进一步包括：管理子系统收发模块(140)、新词统计汇总表存储模块(130)、ID映射表扩充模块(110)及ID映射扩展表存储模块(120)；其中，

管理子系统收发模块(140)：用于从各个切分子系统收发模块(50)获取相应的新词统计表，并发送至新词统计汇总表存储模块(130)；统计汇总完毕后，通知ID映射表扩充模块(110)；以及从ID映射扩展表存储模块(120)中获取ID映射扩展表并发送至各个切分子系统收发模块(50)；

新词统计汇总表存储模块(130)：用于汇总统计并保存由管理子系统收发模块(140)发送来的各个文本切分子系统中的新词统计表；

ID映射表扩充模块(110)：用于接收到管理子系统收发模块(140)发送来的新词统计汇总表统计汇总完毕的通知后，从新词统计汇总表存储模块(130)中获取新词统计汇总表中的新切分单元，建立唯一文本ID映射关系并加入到ID映射扩展表存储模块(120)中的ID映射扩展表中，并在新词统计汇总表存储模块(130)中的新词统计汇总表中删除已获取的新切分单元及其出现次数值；以及处理完新词统计汇总表中的所有汇总的新切分单元，通知管理子系统收发模块(140)ID映射扩展表更新完毕；

ID映射扩展表存储模块(120)：用于保存从ID映射表扩充模块(110)发送来的新切分单元到文本ID的映射关系的ID映射扩展表。

6.根据权利要求5所述的系统，其特征在于：所述管理子系统收发模块(140)进一步包括定时单元，用于计时，当定时计数值到达预设值，从各个切分子系统收发模块获取相应的新词统计表。

7.根据权利要求5所述的系统，其特征在于：所述ID映射表扩充模块(110)进一步包括比较单元，用于从新词统计汇总表存储模块中获取新词汇总统计表中保存的新切分单元的出现次数值，并与门限值进行比较，将出现次数值超出门限值的新切分单元从新词汇总统计表中取出。