[发明专利]一种基于分布式数据库的全文搜索引擎

摘要

本发明提出一种基于分布式数据库的全文搜索引擎，包括索引和搜索，其中：索引是将文档和文档经过分词后的单词存入分布式数据库；搜索是根据用户的输入，返回包含用户输入以及经过排序的结果。本发明使用三张表(即单词表、文档表和语料库表)，采用不同的均衡字段，单词表用单词id分表，文档表用文档id分表，语料库表用单词id分表，从而在查询的时候，按照单词进行查询，单词表按照单词id作为均衡字段，只需要到指定的某些节点上执行即可，其搜索效率大大地提高。使用了分布式数据库作为存储介质，可以利用其强大的缓存和sql计算功能，另外分布式数据库自身带有分布式功能，使其具有很强的扩展能力。

主权项

1.一种基于分布式数据库的全文搜索引擎，其特征在于，包括索引和搜索，其中：索引包括下载文档、分析文档、以及将文档和文档经过分词后得到的单词存入分布式数据库；/n搜索是根据用户的输入，查询分布式数据库，返回包含用户输入的、按照得分进行排序的结果文档；/n文档id、文档地址、文档内容存入分布式数据库中对应节点的文档表中；/n对文档进行分词和分析，得到单词id、单词、单词所在的文档id以及单词的频率存入到分布式数据库中对应节点的单词表中；/n文档id以及单词id是通过将文档地址的hash值以及文档分词后的每个单词的hash值转换为整数得到，然后对文档id、单词id分别对分布式数据库内的节点数取余数，得到文档对应的节点id以及单词对应的节点id；/n搜索的基本步骤如下：对用户的输入进行分词，得到单词和单词之间的逻辑关系，针对每个单词到对应节点的单词表中搜索；/n根据单词表的文档id和单词逻辑关系计算结果文档id的集合，并且根据文档id提取文档内容；同时相同文档id内所有单词的频率逆文档频率之和构成文档的得分，文档按照得分从高到低排名；/n其中：单词的频率逆文档频率为单词的频率和语料库中单词的逆文档频率相乘结果；/n单词之间的逻辑关系是指与、或、非、及三种逻辑运算的任意组合。/n