[发明专利]一种基于分布式数据库的全文搜索引擎

权利要求书

1.一种基于分布式数据库的全文搜索引擎，其特征在于，包括索引和搜索，其中：索引包括下载文档、分析文档、以及将文档和文档经过分词后得到的单词存入分布式数据库；

搜索是根据用户的输入，查询分布式数据库，返回包含用户输入的、按照得分进行排序的结果文档；

文档id、文档地址、文档内容存入分布式数据库中对应节点的文档表中；

对文档进行分词和分析，得到单词id、单词、单词所在的文档id以及单词的频率存入到分布式数据库中对应节点的单词表中；

文档id以及单词id是通过将文档地址的hash值以及文档分词后的每个单词的hash值转换为整数得到，然后对文档id、单词id分别对分布式数据库内的节点数取余数，得到文档对应的节点id以及单词对应的节点id；

搜索的基本步骤如下：对用户的输入进行分词，得到单词和单词之间的逻辑关系，针对每个单词到对应节点的单词表中搜索；

根据单词表的文档id和单词逻辑关系计算结果文档id的集合，并且根据文档id提取文档内容；同时相同文档id内所有单词的频率逆文档频率之和构成文档的得分，文档按照得分从高到低排名；

其中：单词的频率逆文档频率为单词的频率和语料库中单词的逆文档频率相乘结果；

单词之间的逻辑关系是指与、或、非、及三种逻辑运算的任意组合。

2.根据权利要求1中所述的一种基于分布式数据库的全文搜索引擎，其特征在于，文档存储在分布式数据库相关节点的文档表中，单词存储在分布式数据库相关节点的单词表中，单词的逆文档频率存储在分布式数据库相关节点的语料库表中，其中：文档与单词的关系是：一份文档是由若干个单词组成，将一份文档进行分词即可得到若干个单词；其中：所谓分词是指将由若干个单词组成的一份文档分为这若干个单词。

3.根据权利要求1中所述的一种基于分布式数据库的全文搜索引擎，其特征在于，分布式数据库中节点的文档表基本属性包括文档id、文档地址、文档内容等，文档表的均衡字段采用文档id；

分布式数据库中节点的单词表基本属性包括单词id、单词、单词所在的文档id、单词的频率，单词表的均衡字段采用单词id；

分布式数据库中节点的语料库表基本属性包括单词id、单词、单词的逆文档频率，语料库表的均衡字段采用单词id。