[发明专利]检索方法、索引建立方法和装置及检索系统

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种检索方法、索引建立方法和装置及检索系统。 

背景技术

随着计算机技术和网络技术的飞速发展，出现了海量的网络信息。为了工作和生活的方便，人们需要利用信息检索技术从网络中获取需要的信息。目前主流的信息检索技术是基于关键词的信息检索技术。基于关键词的信息检索技术是建立在对被检索内容进行分词的基础之上。传统的分词方式可分为单字分词和自然语言分词两大类。单词分词将中文字符串简单切分成单个字，早期的中文搜索引擎大多使用单个字分词。自然语言分词将中文字符串尽可能切分为符合人类习惯的词汇单元，现有的中文搜索引擎大多使用自然语言分词。 

现有的中文搜索引擎先对用户输入的检索短语进行分词，把分词后得到的词语作为关键词，然后在索引中查找结果。例如，短语“奶啤酒瓶”，若采用正向最大匹配分词方法，可切分成“奶”和“啤酒瓶”；若采用逆向最大匹配分词算短语，可切分为“奶啤酒”和“瓶”。又例如，句子“乒乓球拍卖完了”，若采用正向最大匹配分词方法，可切分成“乒乓球拍”和“卖完了”；若采用逆向最大匹配分词方法，可切分为“乒乓球”和“拍卖完了”。由此可见，对同一短语或句子有可能形成两种或两种以上的、且都有效的分词结果，称之为分词歧义。 

在根据上述多种分词结果检索出的相关文档集中，各分词结果与各文档的相关度是互不相同的。然而，现有中文搜索引擎，在对这些相关文档集进行排序时，没有考虑到上述多种分词结果与检索出文档的相关度，以及这些分词结果与检索短语的相关度，致使排序结果的可靠性较低。 

发明内容

本发明实施例提供一种检索方法、索引建立方法和装置及检索系统，使用户能在排序结果中，快速查找出与检索短语相关度较高的文档，提高了排序结果的可靠性。 

本发明实施例提供一种检索方法，包括： 

通过至少两种分词方法分别对被检索内容进行分词处理，得到至少两组分词词汇，以所有分词词汇中互不相同的分词词汇作为关键词； 

通过预先设置的关键词到文档的关键词索引，检索出与各所述关键词相关的文档集； 

确定各所述关键词的置信度，所述关键词的置信度表示所述关键词与所述被检索内容的相关度；并通过文档到关键词置信度的关键词置信度索引，检索出各所述关键词在各所述文档中的置信度； 

根据各所述关键词与各所述文档的第一相关度，对各所述文档集中的所有文档进行排序；所述第一相关度包括：所述关键词的置信度、所述关键词在各所述文档中的置信度，和第二相关度；所述第二相关度包括：所述关键词在各所述文档中出现的频率、以及与各所述关键词相关的各所述文档在所有文档中出现的频率。 

本发明实施例还提供一种索引建立方法，包括： 

通过至少两种分词方法分别对被选择文档进行分词处理，得到至少两组分词词汇，以所有分词词汇中互不相同的分词词汇作为关键词； 

采用倒排索引方法建立各所述关键词到所述被选择文档的关键词索引； 

确定各所述关键词在各所述被选择文档中的置信度；所述关键词在所述被选择文档中的置信度，表示所述关键词与所述被选择文档的相关度； 

建立所述被选择文档到各所述关键词在所述被选择文档中的置信度的关键词置信度索引。 

本发明实施例还提供一种检索装置，包括： 

检索关键词确定模块，用于通过至少两种分词方法分别对被检索内容进行分词处理，得到至少两组分词词汇，以所有分词词汇中互不相同的分词词汇作为关键词； 

文档集检索模块，用于通过预先设置的关键词到文档的关键词索引，检索出与各所述关键词相关的文档集； 

第一置信度确定模块，用于确定各所述关键词的置信度；所述关键词的置信度表示所述关键词与所述被检索内容的相关度 

第二置信度确定模块，用于通过文档到关键词置信度的关键词置信度索引，检索出各所述关键词在各所述文档中的置信度； 

排序模块，用于根据各所述关键词与各所述文档的第一相关度，对各所述文档集中的所有文档进行排序；所述第一相关度包括：所述关键词的置信度、所述关键词在各所述文档中的置信度，和第二相关度；所述第二相关度包括：所述关键词在各所述文档中出现的频率、以及与各所述关键词相关的各所述文档在所有文档中出现的频率。 

本发明实施例还提供一种索引建立装置，包括：