[发明专利]基于Lucence自定义词库的全文检索匹配方法及系统

说明书

技术领域

本发明涉及大数据搜索领域，具体是涉及一种基于Lucence自定义词库的全文检索匹配方法及系统。

背景技术

Apache Lucence是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。

为了便于读者理解，下面先对相关术语进行简单说明：

Apache Lucence：Apache旗下一款开源全文检索项目；

全文检索：不同于传统的模糊匹配，先对搜索词按一定规则分词后，再将分词与源数据进行匹配，根据出现分词次数，分词邻近距离，权重等数据进行打分，获得检索结果；

分词：全文检索索引，例如：我是中国人，其分词可为：我、是、中国、人、中国人等；

公共词库：存放公共分词规则的词库，例如，常用的：你好、中国等；

自定义词库：根据自己需求，用于存放自己需要的分词规则的字典词库；

搜索反馈：搜索效果反馈，即用户输入搜索词进入搜索页面后，是否有点击页面链接亦或在多次翻页之后点击链接；

搜索量：某一搜索词某时段全站搜索量；

字段：需要搜索的字段，例如：游戏名、主播名、房间名等。

在Apache Lucence全文检索中，需要对源数据进行分词索引。若没有针对特定词组进行分词处理，则该词组无法被检索到。例如，针对游戏直播领域的搜索，“英雄联盟”、“Dota2”、“炉石传说”等在公共词库中基本不会出现的词汇，将很难被检索到。因此，如何获取用户最需要检索的词汇，并生成自定义词库是在全文检索领域一个重要的难点。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种基于Lucence自定义词库的全文检索匹配方法及系统，根据用户输入的搜索词，能够快速有效地建立自己专用的Lucence自定义词库。

本发明提供一种基于Lucence自定义词库的全文检索匹配方法，包括以下步骤：

在基于Lucence全文检索引擎的搜索环境中，实时获取用户输入的搜索词，检测是否搜索到结果，如果搜索不到结果，则将搜索不到结果的搜索词去掉特殊字符，存入Lucence自定义词库；如果搜索到结果，则对搜索到结果的搜索词进行分词处理，得到分词后的若干词组；对分词后的若干词组继续进行搜索，检测是否搜索到结果，如果搜索不到结果，则将搜索不到结果的分词后的词组去掉特殊字符，存入Lucence自定义词库；如果搜索到结果，则记录搜索的时间、分词后的搜索词、搜索反馈信息，最终建立支持Lucence全文检索的Lucence自定义词库。

在上述技术方案的基础上，所述建立支持Lucence全文检索的Lucence自定义词库之后，还包括以下步骤：在建立支持Lucence全文检索的Lucence自定义词库的基础上，根据字段的搜索量、搜索反馈信息及自定义权重变量线性叠加，按照字段权重动态分配公式定时计算字段权重值，再通过Lucence全文检索引擎的权重设置接口，将计算得到的字段权重值动态赋值给字段。

在上述技术方案的基础上，所述字段权重动态分配公式为：

boost＝(α*n+β*m+δ*In(t)+r)*ρ，

其中，boost为某字段权重值，n为某时段该字段被检索量，m为某时段该字段被检索后具有完整搜索反馈的总量，t为某时段该字段被检索后不完整搜索反馈的总量，r为自定义权重变量，α为检索量的系数因子，β为完整搜索反馈的系数因子，δ为不完整搜索反馈的系数因子，ρ为全局协调系数因子。

在上述技术方案的基础上，所述自定义权重变量为主播名、主播房间名或房间类型。

在上述技术方案的基础上，当系统出现转型或用户搜索喜好发生变化之后，所述自定义权重变量随之改变。